[論文レビュー] GPflowOpt: A Bayesian Optimization Library using TensorFlow

Nicolas Knudde, Joachim van der Herten+2 more|arXiv (Cornell University)|Nov 10, 2017

Advanced Bandit Algorithms Research参考文献 10被引用数 56

ひとこと要約

GPflowOpt は、GPflow/TensorFlow 上に構築された Python ベイズ最適化フレームワークで、独自のモデルと取得関数の追加を容易に拡張でき、制約を含む単一・多目的最適化をサポートし、自動微分、GPU、並列化を活用します。

ABSTRACT

A novel Python framework for Bayesian optimization known as GPflowOpt is introduced. The package is based on the popular GPflow library for Gaussian processes, leveraging the benefits of TensorFlow including automatic differentiation, parallelization and GPU computations for Bayesian optimization. Design goals focus on a framework that is easy to extend with custom acquisition functions and models. The framework is thoroughly tested and well documented, and provides scalability. The current released version of GPflowOpt includes some standard single-objective acquisition functions, the state-of-the-art max-value entropy search, as well as a Bayesian multi-objective approach. Finally, it permits easy use of custom modeling strategies implemented in GPflow.

研究の動機と目的

• GPflow に基づいて拡張可能なベイズ最適化フレームワークを作成し、新しいモデルと取得関数の追加を容易にする。
• TensorFlow の機能（自動微分、並列化、GPU）を活用してベイズ最適化をスケールさせる。
• 取得関数を通じて単一・多目的最適化と制約をサポートする。
• さまざまなドメインでの採用と再利用を促進するために、厳密なテストとドキュメンテーションを確保する。

提案手法

• GPflow を代替モデルバックエンドとして使用し、GP ベースのモデルの容易な開発を可能にする。
• EI、PoI、LCB、MES、PoF、HvPoI の取得関数を実装し、GP の予測をスカラー値にマッピングする。
• BO ワークフローを構造化するために、Domain、Acquisition、Optimizer のコンポーネントを用いたモジュラー設計を提供する。
• 自動データスケーリングとモデルハイパーパラメータの最適化を組み込み、ハミルトニアンモンテカルロ法によるハイパーパラメータのオプションを提供する。
• HvPoI 及び関連する取得戦略を通じて多目的最適化を可能にし、パレート前線の考慮を含む。
• TensorFlow による GPU サポートと自動微分を提供して計算を加速する。

実験結果

リサーチクエスチョン

• RQ1 GPflowOpt は、Bayesian optimization 内でカスタム GP モデルと取得関数の容易に拡張できるインターフェースをどのように提供できるか？
• RQ2 GPflowOpt は PoF を介した制約を含む単一・多目的最適化をどの程度効果的にサポートするか？
• RQ3 GPflowOpt は言語、自動微分、マルチオブジェクティブサポート、コード品質、ハードウェアサポートなどの点で既存の BO フレームワークとどのように比較されるか？
• RQ4 GPflowOpt は TensorFlow（GPU/自動微分）を活用してベイズ最適化のスケーリングと性能を向上させることができるか？

主な発見

GPflowOpt	GPyOpt	Spearmint	BayesOpt	RoBO
Python	Python	Python	C++	Python
✓	✗	✗	✗	✗
✓	✗	✗	✗	✗
99%	56%	–	–	46%
✗	✓	✗	✗	✗
✓	✗	✗	✗	✗

• GPflowOpt は、異なる GPflow ベースのサロゲートモデルをベイズ最適化のサロゲートとして簡単に適用できるようにする。
• 自動微分、GPU サポート、クリーンで拡張可能なオブジェクト指向の Python フロントエンドを備えている。
• フレームワークは、単一および多目的最適化のための複数の取得関数と、制約のための PoF を実装している。
• GPflowOpt は 99% のコードカバレッジと広範なドキュメンテーションによる厳密なテストを提供する。
• 他のフレームワークと比較して、GPflowOpt は自動微分、多目的サポート、GPU 使用を提供するが、バッチ BO や特定のバックエンドは最初は未搭載。
• おもちゃの多目的例は HvPoI と PoF の統合を実世界のサイクロン分離器で示している。