[論文レビュー] Exploration vs Exploitation in Bayesian Optimization

Ali Jalali, Javad Azimi+1 more|arXiv (Cornell University)|Apr 3, 2012

Gaussian Processes and Bayesian Inference参考文献 19被引用数 8

ひとこと要約

本稿では、リプシッツ連続性を活用した二段階のベイズ最適化アルゴリズムを提案する。探索段階では、情報量の多いサンプルを選択することで、探索空間を急速に絞り込む。次に、利用段階では、縮小された領域内で精密な探索を行う。実験的に、最適解に到達するまでの関数評価回数を著しく削減できる点で、期待改善（EI）を上回ることを示した。

ABSTRACT

The problem of optimizing unknown costly-to-evaluate functions has been studied for a long time in the context of Bayesian Optimization. Algorithms in this field aim to find the optimizer of the function by asking only a few function evaluations at locations carefully selected based on a posterior model. In this paper, we assume the unknown function is Lipschitz continuous. Leveraging the Lipschitz property, we propose an algorithm with a distinct exploration phase followed by an exploitation phase. The exploration phase aims to select samples that shrink the search space as much as possible. The exploitation phase then focuses on the reduced search space and selects samples closest to the optimizer. Considering the Expected Improvement (EI) as a baseline, we empirically show that the proposed algorithm significantly outperforms EI.

研究の動機と目的

• 高価な関数を最小限の関数評価回数で最適化する課題に対処すること。
• 未知関数のリプシッツ連続性を活用することで、ベイズ最適化におけるサンプル効率を向上させること。
• 探索（探索空間の縮小）と利用（局所的精緻化）を分離する構造的なアルゴリズムを設計すること。
• 期待改善（EI）ベースラインと比較して、実験的に優れた性能を検証すること。

提案手法

• アルゴリズムは、リプシッツ性質に基づいて、実行可能領域のサイズを最小化するサンプル選択を目的とする明確な探索段階を採用する。
• リプシッツ定数を用いて関数の変動を制限し、探索段階で探索空間を厳密に収縮可能にする。
• 探索段階を終了後、縮小された探索空間に焦点を当てた利用段階に移行する。
• 利用段階では、推定最適化点に最も近いサンプルを選択することで、局所的精緻化を最大化する。
• サンプリング意思決定を支援するために、観測された関数値とリプシッツ制約に基づく事後モデルに依存する。
• 構造的な段階的分離によって、グローバルサーチとローカル最適化を分離する点で、標準的なベイズ最適化とは対照的である。

実験結果

リサーチクエスチョン

• RQ1 探索と利用を分離する二段階のベイズ最適化戦略が、サンプル効率を向上させることができるか？
• RQ2 探索段階において、リプシッツ性質をどの程度効果的に活用して探索空間を縮小できるか？
• RQ3 グローバル探索からローカル利用への構造的移行は、標準的な期待改善と比較して、より優れた収束を達成できるか？
• RQ4 関数評価回数という観点から、本手法はEIと比較して定量的にどの程度優れているか？

主な発見

• 提案手法は、収束速度とサンプル効率の両面で、期待改善（EI）を著しく上回っている。
• 探索段階では、リプシッツ制約を活用することで、最適解を含まないと考えられる領域を効果的に除外し、探索空間を縮小している。
• 利用段階では、縮小された探索空間内で高パフォーマンス領域に集中することで、より速い収束を達成している。
• 実験結果から、二段階戦略により、EIと比較して必要な関数評価回数が削減されていることが示された。