[論文レビュー] Hybrid Batch Bayesian Optimization

Javad Azimi, Ali Jalali+1 more|arXiv (Cornell University)|Feb 25, 2012

Advanced Bandit Algorithms Research参考文献 12被引用数 44

ひとこと要約

本稿では、最適化性能と時間効率のバランスを図るために、逐次評価とバッチ評価を動的に切り替えるハイブリッドバッチベイズ最適化アルゴリズムを提案する。予測誤差に基づく理論的停止基準を用いることで、逐次ベイズ最適化に比べ最大78%の高速化を達成し、性能の低下は最小限に抑えられ、既存のバッチ手法（例：Constant Liarで$\tilde{y} = \hat{\mu}$）を上回る性能を発揮する。

ABSTRACT

Bayesian Optimization aims at optimizing an unknown non-convex/concave function that is costly to evaluate. We are interested in application scenarios where concurrent function evaluations are possible. Under such a setting, BO could choose to either sequentially evaluate the function, one input at a time and wait for the output of the function before making the next selection, or evaluate the function at a batch of multiple inputs at once. These two different settings are commonly referred to as the sequential and batch settings of Bayesian Optimization. In general, the sequential setting leads to better optimization performance as each function evaluation is selected with more information, whereas the batch setting has an advantage in terms of the total experimental time (the number of iterations). In this work, our goal is to combine the strength of both settings. Specifically, we systematically analyze Bayesian optimization using Gaussian process as the posterior estimator and provide a hybrid algorithm that, based on the current state, dynamically switches between a sequential policy and a batch policy with variable batch sizes. We provide theoretical justification for our algorithm and present experimental results on eight benchmark BO problems. The results show that our method achieves substantial speedup (up to %78) compared to a pure sequential policy, without suffering any significant performance loss.

研究の動機と目的

• 関数評価が高コストな状況におけるベイズ最適化の最適化性能と時間効率のトレードオフを解消すること。
• モデルの不確実性と推定誤差に基づいて、逐次モードからバッチモードへ知的に遷移するハイブリッドアルゴリズムの開発。
• シミュレーテッドアウトカムがバッチベイズ最適化に与えるバイアスを分析する理論的基盤の提供。
• バッチサイズ選択のための原理的停止基準を導入することで、既存のバッチBO手法（例：Constant Liar）を改善すること。
• ハイブリッドアプローチが逐次BOに近い性能を維持しながらも、反復回数を顕著に削減できることを実験的に検証すること。

提案手法

• アルゴリズムは未知関数をモデル化するためにガウス過程（GP）を用い、獲得関数として期待改善（EI）を適用する。
• 各反復において、EIを用いて次に最良となる単一の点を選択し、その後GPの事後平均を用いてその結果を推定する。
• 推定結果の予測誤差に基づく理論的停止基準を評価することで、現在のバッチに別の点を追加するかどうかを動的に決定する。
• 停止基準は$\gamma_z \theta_x \leq \epsilon$として定義され、$\gamma_z$は次に最良となる点が推定結果にどれほど感応するかを測る指標であり、$\theta_x$は推定誤差を表す。
• 条件を満たす場合、アルゴリズムはバッチに点を追加し続けるが、満たさない場合は再び逐次モードに切り替える。
• 初期段階（高い不確実性）では自然に逐次的行動を示し、後期段階（低い不確実性）ではバッチ処理に移行するため、可変バッチサイズが実現される。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションベースのバッチベイズ最適化において、関数結果を推定することによって生じるバイアスを理論的にどのように上限付けることができるか。
• RQ2 バッチに別の点を追加しても、逐次選択と比較して最適化性能が著しく低下しないための条件は何か。
• RQ3 モデルの不確実性に基づいてバッチサイズを動的に調整するハイブリッドアプローチが、固定バッチサイズ法や完全に逐次的なベイズ最適化を上回る性能を発揮できるか。
• RQ4 シミュレートされた出力（例：$\hat{y} = \hat{\mu}$）の選択が、ベイズ最適化におけるバッチ選択の性能と安定性にどのように影響するか。
• RQ5 ハイブリッドアルゴリズムが、実世界および合成問題において、高い時間効率と高い最適化精度の両方を達成できる範囲はどの程度か。

主な発見

• 提案されたハイブリッドアルゴリズムは、ベンチマーク問題において逐次ベイズ最適化に比べ最大78%の高速化を達成し、必要な反復回数を顕著に削減した。
• アルゴリズムは逐次EIとほぼ同一の最適化性能を維持しており、小さなバッチサイズでも顕著な性能低下が見られなかった。
• 理論的分析から、バッチ内の2番目の実験点と真の逐次的選択との距離が、推定誤差の平方根に比例する項で上界づけられると示された。
• Constant Liarヒューリスティックにおいて、シミュレートされた出力を事後平均$\hat{\mu}$に設定することで、より好都合な停止条件（$\gamma_z \theta_x \leq \epsilon$）が得られ、実用的運用の根拠が裏付けられた。
• 出力を$\hat{y} = \hat{\mu}$とする$\mu$-Constant Batchバージョンは、最先端のMatching手法と同等の性能を発揮したが、はるかに低い計算複雑度であった。
• 実験的結果から、ハイブリッドアルゴリズムが逐次的行動からバッチ的行動へ自然に移行することが確認され、初期段階では高い不確実性のため逐次選択が優先された。