[論文レビュー] On Local Optimizers of Acquisition Functions in Bayesian Optimization

Jungtaek Kim, Seungjin Choi|arXiv (Cornell University)|Jan 24, 2019

Advanced Bandit Algorithms Research参考文献 20被引用数 13

ひとこと要約

この論文は、ベイズ最適化の獲得関数における局所最適化子とグローバル最適化子の使用による性能損失を分析している。局所最適化とマルチスタート局所最適化法の間の即時の後悔差に対する理論的上限を提供し、マルチスタートが後悔境界を著しく緩和することを示している。実験により、マルチスタート局所最適化が、はるかに少ない計算コストでグローバル最適化に近い性能を達成することが確認された。

ABSTRACT

Bayesian optimization is a sample-efficient method for finding a global optimum of an expensive-to-evaluate black-box function. A global solution is found by accumulating a pair of query point and its function value, repeating these two procedures: (i) modeling a surrogate function; (ii) maximizing an acquisition function to determine where next to query. Convergence guarantees are only valid when the global optimizer of the acquisition function is found at each round and selected as the next query point. In practice, however, local optimizers of an acquisition function are also used, since searching for the global optimizer is often a non-trivial or time-consuming task. In this paper we consider three popular acquisition functions, PI, EI, and GP-UCB induced by Gaussian process regression. Then we present a performance analysis on the behavior of local optimizers of those acquisition functions, in terms of {\em instantaneous regrets} over global optimizers. We also introduce an analysis, allowing a local optimization method to start from multiple different initial conditions. Numerical experiments confirm the validity of our theoretical analysis.

研究の動機と目的

• 獲得関数最適化においてグローバル最適化子の代わりに局所最適化子を使用した場合の性能損失を定量化すること。
• 一般的な獲得関数に対して、グローバル最適化子と局所最適化子の間の即時の後悔差を理論的に境界づけること。
• 局所最適化における複数回のランダム初期化が後悔境界に与える改善を分析すること。
• ベンチマーク関数と実世界のベイズ最適化設定を用いて、理論的境界の実証的妥当性を検証すること。
• マルチスタート局所最適化が、最小限の後悔損失でグローバル最適化の計算的に効率的な代替手段であることを示すこと。

提案手法

• 理論的分析により、ガウス過程モデルのリプシッツ連続性および事後分散の性質を用いて、グローバル最適化子と局所最適化子の間の即時の後悔差に対する上界を導出する。
• 本論文は、複数の異なる初期点からのL-BFGS-B実行を用いて、近グローバル最適解への収束を向上させるマルチスタート局所最適化戦略を導入する。
• 主な境界は、獲得関数の勾配および曲率の性質と確率的不等式を用いて導出される。
• マルチスタート設定への理論的拡張は、グローバル最適化子からの距離が一定範囲内にある点を発見する確率をモデル化することで行われる。
• 実証的検証では、EI獲得関数とGP回帰を用いた標準ベンチマーク関数（例：Branin、Hartmann6D）を用い、DIRECT（グローバル）、単一局所、マルチスタート局所最適化子の間で後悔を比較する。
• 後悔差と計算コストを指標として用い、9つのテスト関数にわたる移動平均および統計的境界を報告する。

実験結果

リサーチクエスチョン

• RQ1 獲得関数最大化において局所最適化子がグローバル最適化子の代わりに使用された場合の、即時の後悔差の理論的上界は何か？
• RQ2 局所最適化において複数のランダム初期化が使用された場合、後悔境界はどのように変化するか？
• RQ3 マルチスタート局所最適化は、計算コストを削減しながらも、グローバル最適化と同等の後悔性能を達成できるか？
• RQ4 ベイズ最適化における反復処理において、局所最適化子とグローバル最適化子の間で後悔差はどのように変化するか？
• RQ5 獲得関数最適化において、計算効率と後悔性能のトレードオフは何か？

主な発見

• グローバル最適化子と局所最適化子の間の即時の後悔差に対する理論的上界が導出され、その値はGPモデルのリプシッツ定数および事後分散に依存することが示された。
• マルチスタート局所最適化の後悔境界は、単一局所最適化に比べて著しくタイトであり、開始回数Nの増加に伴い指数関数的に減少する。
• 実験結果により、開始回数が増えるほど後悔差が減少することが確認され、1000回の開始ではほとんどの場合でDIRECTの性能に近づくことが示された。
• マルチスタート局所最適化の計算コストはNに比例して増加するが、N ≤ 1000の範囲ではDIRECTに比べて著しく低く保たれ、L-BFGS-B(100)は実用的な妥当なトレードオフである。
• ベンチマーク関数9つのうち8つにおいて、マルチスタート局所最適化（N ≥ 100）はグローバル最適化子の後悔差の2倍以内に収まり、収束品質の損失は最小限に抑えられた。
• マルチスタート局所最適化子がグローバル最適化子からεの距離内にある点を発見する確率はNの増加に伴い上昇し、境界は(1−βg)^Nとして減少する。これにより、複数回の開始が有効であることが裏付けられた。