[論文レビュー] Dynamic Batch Bayesian Optimization

Javad Azimi, Ali Jalali+1 more|arXiv (Cornell University)|Oct 14, 2011

Machine Learning and Algorithms参考文献 9被引用数 6

ひとこと要約

本稿では、逐次ベイズ最適化の速度を向上させるために、反復ごとにバッチサイズを動的に変化させる手法であるダイナミックバッチベイズ最適化を提案する。期待効果（Expected Improvement）によって予測されるほぼ独立な実験を特定し、それらを並列に実行することで、性能をほとんど損なわずに、実験が高価な状況において、逐次の手法と比較して最大18.4％の高速化を達成する。

ABSTRACT

Bayesian optimization (BO) algorithms try to optimize an unknown function that is expensive to evaluate using minimum number of evaluations/experiments. Most of the proposed algorithms in BO are sequential, where only one experiment is selected at each iteration. This method can be time inefficient when each experiment takes a long time and more than one experiment can be ran concurrently. On the other hand, requesting a fix-sized batch of experiments at each iteration causes performance inefficiency in BO compared to the sequential policies. In this paper, we present an algorithm that asks a batch of experiments at each time step t where the batch size p_t is dynamically determined in each step. Our algorithm is based on the observation that the sequence of experiments selected by the sequential policy can sometimes be almost independent from each other. Our algorithm identifies such scenarios and request those experiments at the same time without degrading the performance. We evaluate our proposed method using the Expected Improvement policy and the results show substantial speedup with little impact on the performance in eight real and synthetic benchmarks.

研究の動機と目的

• 固定バッチのベイズ最適化は逐次のポリシーに比べて性能が劣るという非効率性を解消すること。
• 実験が高価で、同時に実行可能な状況において、完全に逐次のベイズ最適化の時間的非効率性を克服すること。
• 将来の逐次選択の独立性に基づいて、知的にバッチサイズを変化させる動的バッチ選択戦略を開発すること。
• 適応的並列化により、合計実験時間を大幅に短縮しつつ、逐次ベイズ最適化と同等の性能を維持すること。

提案手法

• アルゴリズムは、各反復 $ t $ において、次に期待効果（EI）によって選ばれる $ p_t $ 個の実験がほぼ独立である確率に基づいて、バッチサイズ $ p_t $ を動的に決定する。
• 未知関数をモデル化するためのガウス過程（GP）回帰を用い、予測平均 $ \mu_i^* $ と分散 $ \sigma_i^{*2} $ を計算することで、将来的な不確実性低減の分散に基づく予測が可能になる。
• 定理1を適用して、候補バッチ $ \boldsymbol{x}^* $ におけるサンプリング後の期待分散低減 $ \Delta^*(\sigma_z) $ を計算する。この際、カーネル関数と行列演算が用いられる。
• 予測平均 $ \Delta^*(\mu_z) $ と分散 $ \Delta^*(\sigma_z) $ の変化を推定することで、逐次EI選択の独立性を評価し、分散低減が大きく、平均変化が小さいバッチを特定する。
• 性能劣化を最小限に抑えるために、閾値 $ \epsilon $ を用いて、点の集合が安全にバッチ化可能かどうかを判定する。
• 固定-Mおよび適応的-M（$ (1+\alpha)y_{\text{max}} $ を介して）の両方の期待効果ポリシーと統合し、柔軟な性能評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的バッチ選択は、逐次の手法と比較して性能を劣化させることなく、ベイズ最適化の効率を向上させることができるか？
• RQ2 各反復において、並列性を最大化しつつ最適性を保持するように、バッチサイズをどのように適応的に決定できるか？
• RQ3 GP事後分散と平均変化を用いて、将来のEI選択点の独立性をどの程度正確に予測できるか？
• RQ4 動的バッチサイズを用いた場合、実験および合成ベンチマークにおける実現可能な高速化率はどの程度か？
• RQ5 改善目標が固定Mか適応的Mかにかかわらず、動的バッチBOの性能は逐次BOと比較してどの程度異なるか？

主な発見

• 提案手法の動的バッチベイズ最適化は、適応的改善目標（$ \alpha = 0.1 $）を用いた場合、Hartman(3)ベンチマークにおいて、逐次ベイズ最適化と比較して最大18.4％の高速化を達成した。
• Rosenbrock(2)ベンチマークでは、固定改善目標を用いた場合に16.3％の高速化を達成し、唯一つのグローバル最適解を持つ問題においても優れた性能を示した。
• すべてのベンチマークにおいて、性能が逐次ポリシーの10％以内に保たれており、積極的なバッチ処理を行っても、ほとんど劣化がないことが示された。
• 実験数が増加するにつれて高速化が向上する：$ n_l \geq 20 $ の場合、アルゴリズムは頻繁に $ p_t > 1 $ を選択し、$ n_l $ が増加するにつれて最大バッチサイズ5に近づく。
• 合成ベンチマーク（例：Hartman, Michalewicz）および実世界のベンチマーク（例：燃料電池、水素）の両方で顕著な高速化を達成しており、広範な適用可能性を示した。
• 適応的改善目標（$ (1+\alpha)y_{\text{max}} $）の使用は、固定-M設定と比較して高い高速化（例：Shekelで17.4％）をもたらし、現実の最適化ダイナミクスに適応していることが示された。