[論文レビュー] Trieste: Efficiently Exploring The Depths of Black-box Functions with TensorFlow

Victor Picheny, Joel Berkeley+14 more|arXiv (Cornell University)|Feb 16, 2023

Gaussian Processes and Bayesian Inference被引用数 20

ひとこと要約

Trieste は、モジュラー設計を備えたオープンソースの TensorFlow ベースのベイズ最適化とアクティブラーニングライブラリで、実世界の BO ワークフローに適したプラグアンドプレイモデルと柔軟な獲得戦略を可能にします。

ABSTRACT

We present Trieste, an open-source Python package for Bayesian optimization and active learning benefiting from the scalability and efficiency of TensorFlow. Our library enables the plug-and-play of popular TensorFlow-based models within sequential decision-making loops, e.g. Gaussian processes from GPflow or GPflux, or neural networks from Keras. This modular mindset is central to the package and extends to our acquisition functions and the internal dynamics of the decision-making loop, both of which can be tailored and extended by researchers or engineers when tackling custom use cases. Trieste is a research-friendly and production-ready toolkit backed by a comprehensive test suite, extensive documentation, and available at https://github.com/secondmind-labs/trieste.

研究の動機と目的

• TensorFlow モデリングエコシステム（GPflow、GPflux、Keras）を BO ループ内で活用するための TensorFlow ベースのベイズ最適化ライブラリを提供する。
• BO で多様な確率モデルのプラグアンドプレーを可能にし（GPs、ディープ GP、ディープアンサンブル など）、多目的、多忠実度、制約設定をサポートする。
• 実世界の非同期またはバッチ評価シナリオに適した最小のリ retracing オーバーヘッドで柔軟な獲得関数とルールを提供する。
• 研究と実世界問題のデプロイを促進するテストとドキュメントを備えたユーザーフレンドリーで実運用可能なツールキットを提供する。

提案手法

• TensorFlow 環境で動作するように設計された高度にモジュール化された BO ライブラリを導入する。
• 非同期およびバッチ評価ワークフローを含む、さまざまなレベルの制御のためのインターフェース（AskTellOptimizer と BayesianOptimizer）を提供する。
• TensorFlow ベースのライブラリ（GPflow、GPflux、Keras）からの確率モデルの範囲をサポートし、マルチ出力/マルチタスク機能を提供する。
• AcquisitionRule と AcquisitionFunction の抽象化を定義して複雑なクエリポイントの選択を扱い、獲得の勾配ベース最適化の自動微分を提供する。
• 高価なリトレースを避けるための効率的なループ内グラフ管理を確保し、スケーラブルな並列最適化と監視（例：TensorBoard）を可能にする。
• 研究の拡張と実運用を支援する包括的なテストスイート（97% カバレッジ）と広範なドキュメントを提供する。

(a)

実験結果

リサーチクエスチョン

• RQ1 Trieste は、ステップ間でモデルの完全なリ retracing を必要とせず、TensorFlow エコシステム内で効果的なベイズ最適化を実現できるか。
• RQ2 実世界の BO タスクのための異なるモデルタイプ、獲得関数、および意思決定ループインターフェースのサポートの柔軟性はどの程度か。
• RQ3 フレームワークは TensorFlow ベースのパイプライン内で非同期・バッチ・多目的・多忠実度・制約付き最適化を促進するか。
• RQ4 頑健なテストとドキュメントを備えた研究と実運用の両方のユースケースで Trieste はどの程度機能するか。

主な発見

• Trieste はモジュール性と拡張のしやすさを重視したオープンソースの TensorFlow ベース BO ライブラリである。
• TF ベースのモデル（GPflow、GPflux、Keras）をプラグアンドプレーで統合し、AskTellOptimizer と BayesianOptimizer を通じて複数の BO パラダイムをサポートする。
• AcquisitionRule と AcquisitionFunction の抽象化により、複雑なクエリポイント選択とバッチ処理を柔軟かつスケーラブルに実現し、勾配の自動微分を提供する。
• プロジェクトには 97% カバレッジの包括的なテストスイートと広範なドキュメントが含まれており、研究と実運用の両方をサポートする。
• Trieste はすでに研究と産業界の応用（例：熱交換機、接着結合）に影響を与えており、今後も高次元および非ユークリッド空間のサポートを追加していく予定である。

(b)