[論文レビュー] Open Source Vizier: Distributed Infrastructure and API for Reliable and Flexible Blackbox Optimization

Xingyou Song, Sagi Perel+3 more|arXiv (Cornell University)|Jul 27, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

OSS Vizier は、スケーラブルでフェイルセーフなブラックボックス最適化を可能にする、オープンソースで分散型の Python ベースのフレームワークです。柔軟な RPC ベースの API を通じて、複雑な最適化問題—特にマルチオブジェクティブ、条件付き、および早期終了のシナリオ—を定義・解決できます。任意の言語との統合をサポートし、アルゴリズム開発に適したカスタマイズ可能なバックエンドを提供するため、研究および本番環境での利用に適しています。

ABSTRACT

Vizier is the de-facto blackbox and hyperparameter optimization service across Google, having optimized some of Google's largest products and research efforts. To operate at the scale of tuning thousands of users' critical systems, Google Vizier solved key design challenges in providing multiple different features, while remaining fully fault-tolerant. In this paper, we introduce Open Source (OSS) Vizier, a standalone Python-based interface for blackbox optimization and research, based on the Google-internal Vizier infrastructure and framework. OSS Vizier provides an API capable of defining and solving a wide variety of optimization problems, including multi-metric, early stopping, transfer learning, and conditional search. Furthermore, it is designed to be a distributed system that assures reliability, and allows multiple parallel evaluations of the user's objective function. The flexible RPC-based infrastructure allows users to access OSS Vizier from binaries written in any language. OSS Vizier also provides a back-end ("Pythia") API that gives algorithm authors a way to interface new algorithms with the core OSS Vizier system. OSS Vizier is available at https://github.com/google/vizier.

研究の動機と目的

• 研究および産業分野におけるブラックボックス最適化のため、Google 内部で使用されている Vizier システムのプロダクショングレードなオープンソース代替を提供すること。
• 研究者および実務家が自らのインfraストラクチャ上に信頼性があり分散型の最適化サービスをデプロイおよびカスタマイズできるようにすること。
• 統一的で拡張可能なフレームワーク内で、マルチメトリクス最適化、条件付き探索空間、および早期終了といった高度な最適化機能をサポートすること。
• モジュラーな Pythia API を通じてアルゴリズム開発とデプロイを分離し、プラグイン可能な最適化アルゴリズムを可能にすること。
• 永続的な状態管理を備えたサービス指向の RPC ベースアーキテクチャにより、フェイルセーフ性と水平スケーラビリティを確保すること。

提案手法

• 探索空間、メトリクス、制約を含む最適化問題を定義するためのハイレベルな Python API を提供する。
• リモートプロシージャコール（RPC）プロトコルを用いてクライアントとバックエンドを分離し、分散実行および複数言語のサポートを実現する。
• フェイルセーフ性と永続性を備えたステートフルなバックエンドサービスを採用し、試行、提案、結果の管理を実施する。
• 他のハイパーパramータの値に依存するハイパーパramータの定義を可能にする仕組みにより、条件付き探索空間をサポートし、構造的なハイパーパramータ探索を実現する。
• 中間メトリクスの報告を介して早期終了を導入し、性能の傾向に基づいて試行を早期に終了可能にする。
• アルゴリズム開発者が新しい最適化アルゴリズムをコアシステムに実装・統合できるように、Pythia API を提供する。

実験結果

リサーチクエスチョン

• RQ1 信頼性と拡張性を保持したまま、プロダクショングレードのブラックボックス最適化システムを効果的にオープンソース化するにはどうすればよいか？
• RQ2 モジュラーで RPC ベースのアーキテクチャを用いて、分散型でフェイルセーフかつマルチテナント対応の最適化サービスをどれほど効果的に構築できるか？
• RQ3 統一された API が、マルチオブジェクティブ、条件付き、および早期終了のシナリオを含む多様な最適化ワークロードを効果的にサポートできるか？
• RQ4 ユーザー向け API とアルゴリズムバックエンドの責任の分離が、拡張性と長期的な保守性をどのように促進するか？
• RQ5 研究用の実験と大規模な本番環境での利用を両立させるシステム設計において、実際のトレードオフはどのようなものか？

主な発見

• OSS Vizier は、Google 内部で数百万件の最適化タスクに使用されたコア機能を、完全にオープンソースで独立した Python パッケージとして公開した。
• マルチオブジェクティブ最適化、条件付き探索空間、早期終了といった高度な機能をサポートしており、実世界の ML や科学的ワークフローにおいて不可欠である。
• RPC ベースのアーキテクチャにより、任意の言語で記述されたシステムとのシームレスな統合が可能になり、相互運用性とデプロイの柔軟性が向上した。
• Pythia API を通じて、研究者がコアサービスとは独立して新しい最適化アルゴリズムを実装・テストできるため、拡張性とイノベーションが促進された。
• フェイルセーフ性、永続的状態、高スルーレットの非同期評価をサポートするなど、本番環境に耐える堅牢な設計がなされている。
• OSS Vizier は Vertex AI Vizier と完全に互換性があり、XManager などの既存の Google エコシステムツールとも統合可能で、広範な ML オーケストレーションパイプラインとの相互運用性を実現している。