[論文レビュー] GLASSES: Relieving The Myopia Of Bayesian Optimisation

Javier González, Michael A. Osborne+1 more|arXiv (Cornell University)|Oct 21, 2015

Advanced Multi-Objective Optimization Algorithms被引用数 26

ひとこと要約

GLASSESは、未来の評価を数十回にわたり考慮できる非マイルールなベイズ最適化アルゴリズムを導入し、確率的シミュレーションと期待値伝搬（Expectation Propagation）を用いて理想の先読み損失を近似することで、評価が高価なブラックボックス関数において、マイルール手法に比べて顕著な性能向上を達成する。McCormick や Powers のようなベンチマーク関数においても一貫した改善効果を示す。

ABSTRACT

We present GLASSES: Global optimisation with Look-Ahead through Stochastic Simulation and Expected-loss Search. The majority of global optimisation approaches in use are myopic, in only considering the impact of the next function value; the non-myopic approaches that do exist are able to consider only a handful of future evaluations. Our novel algorithm, GLASSES, permits the consideration of dozens of evaluations into the future. This is done by approximating the ideal look-ahead loss function, which is expensive to evaluate, by a cheaper alternative in which the future steps of the algorithm are simulated beforehand. An Expectation Propagation algorithm is used to compute the expected value of the loss.We show that the far-horizon planning thus enabled leads to substantive performance gains in empirical tests.

研究の動機と目的

• 次の評価のみを考慮するベイズ最適化におけるマイルール性を解消し、数十回の将来の評価を計画できるようにすること。
• 将来のステップに対する正確な推論の高コストを回避しつつ、複数ステップ先読みが可能な計算的に実行可能な手法を構築すること。
• 各評価選択の長期的影響を非マイルール損失関数で組み込むことで、グローバル最適化性能を向上させること。
• バッチベイズ最適化との関連を活用し、理想の先読み損失の効率的かつスケーラブルな近似を設計すること。
• 問題固有のチューニングを必要とせず、多様な目的関数において競争力のある性能を示す、頑健なデフォルト最適化戦略を提供すること。

提案手法

• GLASSESは、将来のアルゴリズムステップを固定された将来の評価予測を用いてシミュレートすることで、理想の先読み損失関数を近似し、計算コストを削減しながらも長期間計画を維持する。
• 将来のすべての評価をガウス過程を用いて同時にモデル化し、GP事前分布下での将来ステップの条件付き独立性を仮定する。
• 将来の関数値および意思決定の不確実性を扱うために、期待値伝搬を用いて計算不能な周辺化を近似する。
• 計算的に高コストなネストされた最大化および統合問題を回避するため、将来ステップの予測モデルを用いる。
• 獲得関数はDIRECT法を用いて最適化され、GPハイパーパrameterはL-BFGSを用いた周辺尤度最大化により学習される。
• 標準的なベイズ最適化パイプラインと統合するため、マイルールな期待損失の代わりに、複数の将来評価を考慮する非マイルール損失を採用する。

実験結果

リサーチクエスチョン

• RQ1 数十回の将来評価を計画できる非マイルールなベイズ最適化アルゴリズムは、評価が高価なブラックボックス関数において、マイルール手法を上回る性能を発揮できるか？
• RQ2 ベイズ最適化における複数ステップ先読み問題を、長期計画能力を損なわず、効率的に近似できるか？
• RQ3 提案されたGLASSESアルゴリズムは、複雑な形状を示す関数を含む多様なテスト関数において、一貫して最適化性能を向上させるか？
• RQ4 MPI や GP-LCB といった標準的な獲得関数と比較して、GLASSESの収束速度および最終的な解の品質はどのように異なるか？
• RQ5 GLASSESは、すべての問題で最良ではない場合でも、幅広い問題範囲において頑健なデフォルト最適化戦略として機能できるか？

主な発見

• GLASSESは、過去の手法が2〜6ステップにとどまるのに対し、数十回の将来評価を計画可能にすることで、実験的評価で顕著な性能向上を達成した。
• McCormick 関数および Powers 関数において、損失関数に使用する先読みステップ数を増やすことで、最適化結果が一貫して改善され、長期間計画の利点が明確に示された。
• 11個のテスト関数のうち6つにおいて、GLASSESの非マイルール損失はすべてのマイルールベースラインを上回り、3つのケースでは全体で最良の性能を示した。
• GLASSESが最良でない場合でも、常に2位または最良に近い順位を維持しており、デフォルト選択としての頑健性と信頼性が裏付けられた。
• 期待値伝搬を用いた期待損失の近似により、非マイルール意思決定の利点を維持しながらも、計算の効率化が実現された。
• 次元数や定義域のサイズの異なる複数の設定において、収束速度および最終的な解の品質に一貫した改善が見られ、評価予算に対して10倍の次元数でも良好な性能を示した。