[論文レビュー] BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization

Maximilian Balandat, Brian Karrer+5 more|arXiv (Cornell University)|Oct 14, 2019

Machine Learning and Data Classification被引用数 203

ひとこと要約

BoTorchはPyTorch上に構築されたモジュラーなMCベイズ最適化フレームワークを導入し、斬新なサンプル平均近似最適化、オートディファレンシエーション、分散削減、そしてワンショットKG定式化を特徴とし、既存ライブラリよりもサンプル効率とスケーラビリティを向上させる。

ABSTRACT

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BoTorch, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, auto-differentiation, and variance reduction techniques. BoTorch's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BoTorch relative to other popular libraries.

研究の動機と目的

• モダンなハードウェアとPyTorchベースのモデルを活用した、モジュラーで微分可能なモンテ-Carloベイズ最適化フレームワークの提供。
• MC獲得関数を最適化するためのサンプル平均近似(SAA)の導入と収束保証の分析。
• ワンショットのKnowledge Gradient(OKG)の Look-ahead 獲得を提示し、実用的な利点を示す。
• 既存のBOライブラリと比較した性能とスケーラビリティの改善を、広範な実験を通じて示す。

提案手法

• MC獲得関数を後方サンプルの期待値として定式化し、固定セットの基底サンプル(SAA)で近似する。
• 再パラメータ化を用いて獲得関数の微分可能なサンプル経路と勾配を得る。
• SAA最適化の収束保証を、RQMC拡張を含めて開発する。
• OKGを導入する。これは決定的でワン-shotのLook-ahead KG定式化であり、 fantasyモデルを用いたネストした最適化を回避し、候補点とファンタジーポイントの結合最適化を行う。
• モジュラーなBoTorch抽象化を提供し、モデルに依存しない設計とGPyTorchとの統合により高速な予測分布とハードウェア加速を実現する。
• 具体的な実装（例：qParEGO、qNEI、qKnowledgeGradient など）を通じて、マルチオブジェクティブおよび並列/ノイジーな獲得関数を示す。

実験結果

リサーチクエスチョン

• RQ1 MC獲得関数を固定セットの基底サンプル(SAA)で収束保証つきに効果的に最適化できるか。
• RQ2 OKGのワンショット定式化は、従来のKG手法と比較してLook-ahead BOの性能とスケーラビリティを向上させるか。
• RQ3 BoTorchは合成タスクと実世界タスクを通じて、サンプル効率と計算効率の点で他のBOライブラリと比較してどの程度の性能を示すか。
• RQ4 BoTorchは並列・非同期・マルチオブジェクティブ・ノイジーな獲得関数を微分可能でGPU加速のフレームワーク内に統合できるか。

主な発見

• SAAベースのMC獲得関数最適化は、穏当な条件下でほぼsure収束と指数収束率を有し、真の最適解へ収束する。
• RQMCベースの手法は実務上、経験的な収束速度をMCよりもさらに改善する。
• OKGは収束保証と競争力のある漸近的最適性を備えた、スケーラブルなワンショットLook-ahead KG定式化を提供する。
• BoTorchはGPUとCPUで顕著なスピードアップと拡張性を示し、予測分布の高速化とバッチサイズのほぼ線形スケーリングにより10–40Xの速度アップを達成する。
• OKGは合成テストで他の獲得関数を上回ることが多く、MOE KGと比較して最大で6Xの壁時短を示しつつ、より良い最適化性能を提供する。
• Hartmann、Cartpole DQNチューニング、その他のハイパーパラメータ最適化タスクにおける実証結果は、サンプル効率と実用的な性能の向上を示す。