[論文レビュー] Improving the Expected Improvement Algorithm

Chao Qin, Diego Klabjan+1 more|arXiv (Cornell University)|May 29, 2017

Advanced Bandit Algorithms Research参考文献 8被引用数 39

ひとこと要約

本稿では、期待改善（EI）を改善するためのトップツーサンプリング戦略と再定義された改善測度を組み合わせた、修正されたベイズ最適化アルゴリズムであるTop-Two Expected Improvement（TTEI）を提案する。TTEIはガウス分布における最良腕同定問題において漸近的最適性を達成し、標準的なEIと比較してサンプル効率が10倍向上し、有限の期待収束時間内で最適なサンプリング割合に収束する。

ABSTRACT

The expected improvement (EI) algorithm is a popular strategy for information collection in optimization under uncertainty. The algorithm is widely known to be too greedy, but nevertheless enjoys wide use due to its simplicity and ability to handle uncertainty and noise in a coherent decision theoretic framework. To provide rigorous insight into EI, we study its properties in a simple setting of Bayesian optimization where the domain consists of a finite grid of points. This is the so-called best-arm identification problem, where the goal is to allocate measurement effort wisely to confidently identify the best arm using a small number of measurements. In this framework, one can show formally that EI is far from optimal. To overcome this shortcoming, we introduce a simple modification of the expected improvement algorithm. Surprisingly, this simple change results in an algorithm that is asymptotically optimal for Gaussian best-arm identification problems, and provably outperforms standard EI by an order of magnitude.

研究の動機と目的

• 期待改善（EI）の過剰なグリーディー性——現在の最良推定値に過剰に注目し、劣悪な腕を無視する——を是正すること。
• 最良腕同定（BAI）問題において、漸近的に最適なサンプリング割合を達成する、シンプルでありながら効果的なEIの修正を考案すること。
• 新しいアルゴリズムに対する理論的保証を確立すること、特に最適なサンプリング割合への収束にかかる期待時間の有限性を含む。
• 修正されたアルゴリズムが、サンプル複雑性および信頼度上昇率の観点で、標準的なEIと顕著に優れていることを示すこと。
• 調整パラメータに対するアルゴリズムのロバストネスを分析し、適応的調整戦略を検討すること。

提案手法

• Russo（2021）のトップツーサンプリングのアイデアと修正された期待改善計算を組み合わせた、新たな改善測度を導入する。
• 二段階のサンプリングルールを採用：期待改善が最大の腕と第二に高い腕を選択し、その後、修正された改善基準に基づいてその両者の中から選択する。
• GarivierとKaufmann（2016）の停止ルールを応用し、最適な固定信頼度性能を達成する。
• 理論的分析では、各腕に割り当てられるサンプルの漸近的割合を真の平均の関数として特徴付ける。
• 集中不等式と帰納的議論を用いて、高確率で有限時間内にサンプリング不足の腕の集合が空になることを証明する。
• 最適なサンプリング割合への到達にかかる期待時間が有限であることを確立する。これは、先行研究とは対照的に、技術的進展の鍵となる。

実験結果

リサーチクエスチョン

• RQ1 期待改善アルゴリズムに対するシンプルな修正が、最良腕同定問題において漸近的最適性を達成できるか？
• RQ2 提案されたアルゴリズムが、有限の期待収束時間内で既知の最適なサンプリング割合に収束するか？
• RQ3 修正されたアルゴリズムの性能は、サンプル効率および信頼度上昇率の観点で、標準的なEIと比較してどのように異なるか？
• RQ4 調整パラメータの選択がアルゴリズムの性能に与える影響は何か？また、それを適応的に調整可能か？
• RQ5 固定誤り確率制約下で期待サンプル数を最小化できることが示せるか？

主な発見

• TTEIは最良腕同定問題において漸近的最適性を達成し、有限の期待収束時間内で既知の最適なサンプリング割合に収束する。
• サンプル効率の観点で、標準的なEIと比較して10倍の向上を達成する。
• GarivierとKaufmann（2016）の停止ルールと組み合わせることで、固定信頼度設定において、誤った腕の選択確率に制約を課した状態で期待サンプル数を最小化するという点で、理論的に最適であることが保証される。
• 最適なサンプリング割合への到達にかかる期待時間が有限であることは、先行研究のトップツーサンプリングアルゴリズムでは確立されていなかった、重要な理論的進展である。
• 調整パラメータの選択に対して驚くほどロバストであり、広い範囲の値で安定した性能を示す。
• 理論的分析により、サンプル数が増加するに従い、各腕に割り当てられるサンプルの割合がほとんど確実に最適な重みに収束することが確認された。