[論文レビュー] Maximizing acquisition functions for Bayesian optimization

James T. Wilson, Frank Hutter+1 more|arXiv (Cornell University)|May 25, 2018

Advanced Multi-Objective Optimization Algorithms被引用数 67

ひとこと要約

本論文は、ベイズ最適化における獲得関数を効率的に最大化する方法を分析し、 Monte Carlo 推定獲得関数の勾配法による最適化と、myopic maximal の一族に対する貪欲最大化の保証を示す。

ABSTRACT

Bayesian optimization is a sample-efficient approach to global optimization that relies on theoretically motivated value heuristics (acquisition functions) to guide its search process. Fully maximizing acquisition functions produces the Bayes' decision rule, but this ideal is difficult to achieve since these functions are frequently non-trivial to optimize. This statement is especially true when evaluating queries in parallel, where acquisition functions are routinely non-convex, high-dimensional, and intractable. We first show that acquisition functions estimated via Monte Carlo integration are consistently amenable to gradient-based optimization. Subsequently, we identify a common family of acquisition functions, including EI and UCB, whose properties not only facilitate but justify use of greedy approaches for their maximization.

研究の動機と目的

• Monte Carlo で推定された獲得関数を微分可能にし、最適化する方法を明らかにする。
• 一般的な獲得関数の族がサブモジュラであり、ほぼ最適な保証付きの貪欲最大化に適していることを示す。
• 並列および高次元設定において、BO の性能を改善する実用的手法と実証的な証拠を提供する。
• 微分可能性の拡張として、離散イベントと連続-離散緩和の適用を検討する。

提案手法

• 再パラメータ化トリックとサンプルパス微分によって MC 獲得関数が微分可能であることを示す。
• 獲得関数の再パラメータ化されたガウス積分定式化を提供し、勾配ベースの最適化を可能にする。
• 一般的な MM（myopic maximal）獲得関数がサブモジュラであることを示し、近似最適な貪欲最大化を保証する。
• MM 獲得の増分（限界）ビューを提示し、EI、PI、SR、UCB を EI に似た限界利得に結びつける。
• 勾配ベースの最適化の中で離散イベントを扱うための連続緩和を提案する。
• 並列最適化に適した微分可能な MC 形のために UCB を拡張する。

実験結果

リサーチクエスチョン

• RQ1 Monte Carlo で推定された獲得関数は、勾配法を用いて効率的に微分可能かつ最適化できるか？
• RQ2 Myopic maximal 獲得関数はサブモジュラか、並列ベイズ最適化において貪欲法がほぼ最適な探索集合を生むか？
• RQ3 離散イベント基準を連続緩和を通じて微分可能な獲得最適化に埋め込むにはどうすればよいか？
• RQ4 並列・高次元設定において、勾配ベースの MC 最適化と増分 MM 形式から得られる BO の実用的な性能向上は何か？

主な発見

• MC 獲得関数は穏やかな条件の下で偏りなく微分可能かつ最適化できる。
• 再パラメータ化により並列設定で q-EI および関連獲得の勾配ベース最適化が可能になる。
• MM 獲得関数（EI、PI、SR、UCB）はサブモジュラであることが示され、保証付きの近似的な貪欲最大化を確実にする。
• 増分限界利得は計算上の利点を提供し、結合獲得次元の増大に伴うスケーラビリティを改善する。
• 連続緩和は離散イベントの微分可能性を可能にし、勾配ベースの最適化を可能にする。
• 合成タスクおよびブラックボックスタスクで、さまざまな次元と並列度に渡る実データ・合成タスクで性能向上を示す実証結果。