[論文レビュー] Optimization, fast and slow: optimally switching between local and Bayesian optimization

Mark McLeod, Michael A. Osborne+1 more|arXiv (Cornell University)|May 22, 2018

Advanced Bandit Algorithms Research参考文献 11被引用数 15

ひとこと要約

BLOSSOMは、各ステップで複数の獲得関数と局所最適化の間を動的に切り替える、革新的なベイズ最適化アルゴリズムである。これは、ベイズ手法の探索性能と局所探索の高速収束性を組み合わせたものである。また、期待リグレットに基づく原則的で、リグレットの期待値がユーザーが定めたしきい値未満に下がると自動的に最適化を終了する停止基準を導入しており、従来の手法と比較して著しく優れた収束性と評価コストの削減を達成している。

ABSTRACT

We develop the first Bayesian Optimization algorithm, BLOSSOM, which selects between multiple alternative acquisition functions and traditional local optimization at each step. This is combined with a novel stopping condition based on expected regret. This pairing allows us to obtain the best characteristics of both local and Bayesian optimization, making efficient use of function evaluations while yielding superior convergence to the global minimum on a selection of optimization problems, and also halting optimization once a principled and intuitive stopping condition has been fulfilled.

研究の動機と目的

• 固定予算のベイズ最適化の非効率性を解消するため、期待リグレットに基づく自動停止基準を導入すること。
• 各反復でベイズ最適化と局所最適化を知的に切り替えることで、収束速度の向上とグローバル最適性の向上を図ること。
• 標準的なガウス過程ベースのベイズ最適化における局所収束の悪さを、局所探索を効果的に使用することで克服すること。
• 固定反復回数に依存する手動チューニングの必要性を減らし、固定反復回数の代わりに原則的で適応的な停止条件を導入すること。
• ベンチマーク問題および実世界の問題において、少ない関数評価回数で優れた最終解の品質を達成すること。

提案手法

• BLOSSOMは、各ステップで複数の獲得関数（例：期待改善、予測エントロピー探索）と局所最適化の期待効用を比較し、次の評価点を選択する。
• 目的関数をモデル化するためにガウス過程を用い、関数値と不確実性の事後分布を維持する。
• 期待リグレットに基づく新しい停止基準を採用し、推定されたリグレットがユーザーが指定したしきい値未満に下がると最適化を停止する。
• 期待リグレットの低下が最も見込まれる方の選択（ベイズ最適化または局所最適化）に基づいて、両者の間での選択がなされる。
• 一貫した適応的フレームワーク内で、探索（獲得関数によるベイズ手法）と活用（局所最適化による）を統合する。
• 解釈可能なしきい値ベースの停止ルールを採用し、局所的な変化だけでなく、ガウス過程全体のモデルを考慮することで、過剰な早期終了を回避する。

実験結果

リサーチクエスチョン

• RQ1 高価なブラックボックス最適化において、ベイズ最適化と局所最適化の動的切り替えが収束速度と最終解の品質を向上させることができるか？
• RQ2 期待リグレットに基づく停止基準が、固定反復予算に代わって最適化性能を維持または向上させることができるか？
• RQ3 複数の獲得関数と局所探索を組み合わせることで、劣悪な局所最小値への収束リスクが低減されるか？
• RQ4 最終的なリグレットと評価効率の観点から、BLOSSOMは標準的なベイズ最適化手法（例：PES、EI）と比較してどのように異なるか？
• RQ5 提案された停止基準は、十分な収束が達成された段階で、手動介入なしに最適化を信頼性高く終了できるか？

主な発見

• BLOSSOMは、6つのベンチマーク関数のうち5つで最低の最終的リグレットを達成し、Hartmann 4Dでは中央値リグレットが5.21e-14であった。
• Hartmann 6D問題において、10^-4のリグレットしきい値を使用したBLOSSOMは、類似した評価回数でPES（0.196）やEI（0.0229）よりも著しく優れたリグレット0.0638を達成した。
• Hartmann 6Dにおいて、BLOSSOMは10^-4のしきい値でステップごとのリグレット積を19.1にまで低減したのに対し、PESは37.6、EIは5.28であった。これは、優れた効率性を示している。
• 英国の電力需要データにおけるガウス過程のハイパーパrameter最適化において、BLOSSOMは終了時点でPESやEIと比べて数個のオーダーも優れた収束性を達成した。
• 期待リグレットが目標値未満に下がると自動で停止するため、不要な評価回数を常に削減し、固定予算アプローチに比べて計算コストを節約した。
• より厳しいリグレットしきい値10^-4を用いた場合、BLOSSOMは局所最小値への陥落をより効果的に回避することができ、より多くの探索ステップを経てより優れた最終結果を達成した。