[論文レビュー] Bayesian Optimization of Composite Functions

Raul Astudillo, Peter I. Frazier|arXiv (Cornell University)|Jun 4, 2019

Gaussian Processes and Bayesian Inference参考文献 4被引用数 6

ひとこと要約

本稿では、合成構造 $f(x) = g(h(x))$ を活用するベイズ最適化手法である「期待改善 for 合成関数（EI-CF）」を提案する。この手法は、$h(x)$ を多出力ガウス過程でモデル化し、$f$ の非ガウス的事後分布を考慮したシミュレーションベースの獲得関数を用いる。標準的なベイズ最適化と比較して、サンプリング効率が著しく向上し、単純な後悔が数個のオーダーも減少する。

ABSTRACT

We consider optimization of composite objective functions, i.e., of the form $f(x)=g(h(x))$, where $h$ is a black-box derivative-free expensive-to-evaluate function with vector-valued outputs, and $g$ is a cheap-to-evaluate real-valued function. While these problems can be solved with standard Bayesian optimization, we propose a novel approach that exploits the composite structure of the objective function to substantially improve sampling efficiency. Our approach models $h$ using a multi-output Gaussian process and chooses where to sample using the expected improvement evaluated on the implied non-Gaussian posterior on $f$, which we call expected improvement for composite functions (\ei). Although \ei\ cannot be computed in closed form, we provide a novel stochastic gradient estimator that allows its efficient maximization. We also show that our approach is asymptotically consistent, i.e., that it recovers a globally optimal solution as sampling effort grows to infinity, generalizing previous convergence results for classical expected improvement. Numerical experiments show that our approach dramatically outperforms standard Bayesian optimization benchmarks, reducing simple regret by several orders of magnitude.

研究の動機と目的

• 評価が高価な合成目的関数 $f(x) = g(h(x))$ の最適化という課題に取り組むこと。ここで $h$ はベクトル値関数で微分不能であり、$g$ は評価が安価である。
• $h$ と $g$ の構造的関係を活用することで、$f$ をブラックボックスとして扱うのではなく、ベイズ最適化におけるサンプリング効率を向上させること。
• $h$ にガウス過程モデルを適用することによって $f$ に誘導される非ガウス的事後分布を捉える獲得関数を開発すること。これにより、より情報に基づいたサンプリング意思決定が可能になる。
• ややきわめて弱い正則性条件のもとで最適化プロセスの漸近的一致性を保証し、最適解への収束を保証すること。

提案手法

• 出力間の相関を捉えるために、内部関数 $h(x)$ を多出力ガウス過程（GP）でモデル化する。
• $f(x) = g(h(x))$ における事後分布の非ガウス的性質を反映した、期待改善（EI）としての獲得関数を定義する。これを「合成関数のための期待改善（EI-CF）」と呼ぶ。
• モンテカルロシミュレーションを用いて、EI-CFの勾配の不偏推定器を計算し、確率的勾配上昇法による効率的な最大化を可能にする。
• $g$ が評価が安価であるという事実を活用し、$f$ を直接GPとしてモデル化せず、$h$ からの不確実性を $f$ へ伝搬する。
• 閉形式表現が存在しない状況においても、EI-CFを効率的に最大化できる、新しい確率的勾配推定器を適用する。
• 関数評価回数を増やすにつれて、最良の解が最適解に収束することを保証することで、漸近的一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 多出力GPで内部関数 $h(x)$ をモデル化し、$f(x) = g(h(x))$ に誘導される事後分布を用いることで、標準的なベイズ最適化よりも効率的な最適化が達成できるか？
• RQ2 非線形な $g$ が存在する場合、$f$ における非ガウス的事後分布を考慮した期待改善獲得関数をどのように適応させるか？
• RQ3 閉形式が存在しない獲得関数を最大化する計算的妥当性は何か？ そして、どのように効率的に最適化できるか？
• RQ4 提案された EI-CF 法は、関数評価回数を増やすにつれて、最適解に収束するか？
• RQ5 単純な後悔と収束速度の観点から、EI-CF の性能は標準的なベイズ最適化のベンチマークと比べてどうか？

主な発見

• EI-CF は、標準的なベイズ最適化のベンチマークと比較して、単純な後悔を数個のオーダーも減少させる。
• EI-CF は、関数評価回数を 1/4 未満に抑えることで、標準BOと同等の最終的解の品質を達成する。
• 提案された確率的勾配推定器により、閉形式が存在しないにもかかわらず、EI-CF の効率的な最大化が可能になる。
• EI-CF は漸近的に一貫性を持つ。つまり、サンプル数が無限大に近づくにつれて、最適解に収束する。
• EI-CF は、$f(x)$ の評価から得られる情報に加え、$h(x)$ からの情報を活用することで、特に非線形な設定において標準BOを上回る。
• 数値実験により、$g$ が非線形で $h$ が連続な場合に、このアプローチが特に有効であることが確認された。特に、$h$ の符号変化といった構造的特徴を検出でき、それが極小値の存在を示す手がかりとなる。