[論文レビュー] The Parallel Knowledge Gradient Method for Batch Bayesian Optimization

Jian Wu, Peter I. Frazier|arXiv (Cornell University)|Jan 1, 2016

Machine Learning and Algorithms被引用数 86

ひとこと要約

本稿では、並列評価用に1ステップベイズ最適なバッチ点を効率的に選択するバッチベイズ最適化手法であるParallel Knowledge Gradient (PKG)を提案する。PKGは、この最適バッチを的確に計算することで、特にノイズの多い評価環境下でも、グローバル最適解への収束を加速し、合成関数や機械学習のハイパーパrameterチューニングの分野で、先行するバッチベイズ最適化手法を上回る性能を発揮する。

ABSTRACT

In many applications of black-box optimization, one can evaluate multiple points simultaneously, e.g. when evaluating the performances of several different neural network architectures in a parallel computing environment. In this paper, we develop a novel batch Bayesian optimization algorithm --- the parallel knowledge gradient method. By construction, this method provides the one-step Bayes optimal batch of points to sample. We provide an efficient strategy for computing this Bayes-optimal batch of points, and we demonstrate that the parallel knowledge gradient method finds global optima significantly faster than previous batch Bayesian optimization algorithms on both synthetic test functions and when tuning hyperparameters of practical machine learning algorithms, especially when function evaluations are noisy.

研究の動機と目的

• ブラックボックス最適化における、ノイズの多い関数評価が発生する状況を想定し、並列評価用に効率的に点のバッチを選択する課題に対処すること。
• 目的関数の期待改善を最大化する1ステップベイズ最適バッチ点を特定する手法を開発すること。
• ハイパーパrameterチューニングや、並列関数評価を要するその他の応用分野において、グローバル最適解への収束をより速くすること。
• 従来のバッチベイズ最適化手法に比べて高い計算コストを伴う問題を克服するため、最適バッチを特定する効率的な計算戦略を提供すること。

提案手法

• 本手法は、候補バッチ上での目的関数の事後平均の期待改善を最大化することで、バッチ選択問題を知識勾配最適化として定式化する。
• バッチ設定における知識勾配の閉形式近似を導出し、全列挙を伴わずに最適バッチを効率的に計算可能にする。
• 知識勾配に基づくグリーディー選択戦略を用いて、反復的にバッチを構築することで、大規模バッチに対しても計算の tractability を確保する。
• ガウス過程のスラッグモデルからの不確実性推定値を統合し、バッチ選択プロセスにおける探索と活用のバランスをとる。
• スケーラビリティと効率性を考慮して設計されており、並列コンピューティング環境におけるリアルタイムなバッチ選択を可能にする。
• 本手法はベイズ意思決定理論に基づいており、選択されたバッチが1ステップベイズ意味で最適であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ベイズ最適化における並列関数評価のための1ステップベイズ最適バッチ点を効率的に計算できるか？
• RQ2 知識勾配に基づくアプローチは、収束速度およびグローバル最適性の観点で、既存のバッチベイズ最適化手法を上回ることができるか？
• RQ3 ノイズの多い関数評価環境下で、本手法は先行するバッチベイズ最適化アルゴリズムと比較して、どのように性能を発揮するか？
• RQ4 本手法のスケーラビリティは、バッチサイズおよび探索空間の次元数の観点からどのように評価できるか？

主な発見

• 合成テスト関数において、PKGは従来のバッチベイズ最適化アルゴリズムと比較して、グローバル最適解への収束が著しく速いことが確認された。
• 実用的な機械学習モデルのハイパーパrameterチューニングタスクにおいて、PKGは最適性能に到達するための関数評価回数を削減した。
• ノイズの多い評価環境下でも、他の手法が性能を低下させる中で、PKGは優れた性能を維持し、ロバストで効率的であることが示された。
• バッチ選択のための計算戦略により、大規模バッチへのスケーリングが効率的に行えるようになり、ハイパフォーマンスコンピューティング環境に適したものとなった。
• 実験結果から、PKGはベースライン手法と比較して、特に高ノイズ環境下で、少ない評価回数でより優れた解を一貫して得られることを示した。