[論文レビュー] Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions

Amar Shah, Zoubin Ghahramani|arXiv (Cornell University)|Nov 23, 2015

Gaussian Processes and Bayesian Inference参考文献 32被引用数 66

ひとこと要約

この論文では、高価なブラックボックス関数のグローバル・マキマイザーに関する情報量の増加を最大化することを目的として、並列で評価可能な複数点の選択を目的とした非グリーディなベイズ最適化アルゴリズムであるParallel Predictive Entropy Search (PPES)を紹介する。PPESは、合成的および実世界の問題（ロボット工学、航空宇宙、機械学習）において、グリーディなバッチ手法を上回り、情報理論的で非グリーディなバッチ選択戦略のおかげで優れた探索性能と高速な収束を示している。

ABSTRACT

We develop parallel predictive entropy search (PPES), a novel algorithm for Bayesian optimization of expensive black-box objective functions. At each iteration, PPES aims to select a batch of points which will maximize the information gain about the global maximizer of the objective. Well known strategies exist for suggesting a single evaluation point based on previous observations, while far fewer are known for selecting batches of points to evaluate in parallel. The few batch selection schemes that have been studied all resort to greedy methods to compute an optimal batch. To the best of our knowledge, PPES is the first non-greedy batch Bayesian optimization strategy. We demonstrate the benefit of this approach in optimization performance on both synthetic and real world applications, including problems in machine learning, rocket science and robotics.

研究の動機と目的

• 複数の評価を並列で実行可能な状況において、高価なブラックボックス目的関数を効率的に最適化する課題に対処すること。
• グリーディなバッチ選択戦略の限界、特に入力空間の未探索領域が多く残り、グローバル構造を捉えきれないことの問題を克服すること。
• グローバル・マキマイザーの位置に関する不確実性の予想される低減を最大化する非グリーディで情報理論的なアプローチを開発し、点のバッチを選択すること。
• 関数評価が高価でノイズが多い実世界の問題、例えばロボット工学、ロケット開発、機械学習のハイパーパramータチューニングにおいて、この手法を評価すること。

提案手法

• PPESは、即時の改善を最大化するのではなく、グローバル・マキマイザーの位置に関するエントロピーの予想される低減（情報量の増加）を最大化することで、Q個の点のバッチを選択する。
• 予測エントロピー探索をバッチ設定に拡張し、マキマイザーの位置と候補点における関数値の両方の同時不確実性をモデル化する。
• 関数値とマキマイザー位置の同時分布における情報量の増加の不確実な期待値をモンテカルロサンプリングにより近似する。
• 獲得関数を、バッチの点を観測した後のマキマイザー位置の事後分布のエントロピー低減の期待値として定式化する。
• 勾配ベースの最適化手法を複数のランダム初期化から用いて、Q点の入力空間全体の高次元最適化問題を解くことでバッチを最適化する。
• グリーディな手法とは異なり、PPESは点を逐次的に選択するのではなく、グローバルな情報量の増加を最大化するために、バッチ全体を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 非グリーディなバッチベイズ最適化戦略は、収束速度とグローバル探索の観点で、グリーディな手法を上回ることができるか？
• RQ2 グローバル・マキマイザーの位置に関する情報量の増加を最大化することは、期待改善を最大化するのと比較して、より優れた最適化性能をもたらすか？
• RQ3 グリーディな手法がしばしば失敗する多峰性、不連続性、ノイズを伴う目的関数において、PPESはどのように性能を発揮するか？
• RQ4 非グリーディで情報理論的な獲得関数を用いる場合、バッチサイズの変更が最適化性能に与える影響は何か？

主な発見

• PPESは、すべてのベンチマーク関数において中央値の即時の後悔が、SM-UCB、GP-BUCB、EI-MCMCといったグリーディなバッチ手法を常に上回っている。
• 水素関数では、初期バッチの後で後悔が急激に低下しており、非グリーディな選択による優れた長期的探索性能が示されている。
• ロケット関数では、強い不連続性と不可行な設定での関数値がゼロである特徴があり、PPESは他の手法よりもゼロ関数値の評価回数が少なかった。
• 個々の評価値が低くても、PPESはグローバル・マキマイザー（すなわち、x*の推定）に対してより優れた提案をした。これは、情報量の増加に注力しているためである。
• PPESの性能向上は、複雑で多峰性のある関数において顕著であり、グリーディな手法は早期収束と不十分な探索に苦しんでいた。
• ロボット関数では、バッチサイズをQ=2からQ=4に増加させた際の相対的な性能向上が小さかったが、これは高次元バッチ空間における獲得関数の最適化が不十分だったためと推測される。