[論文レビュー] Predictive Entropy Search for Efficient Global Optimization of Black-box Functions

José Miguel Hernández-Lobato, Matthew W. Hoffman+1 more|arXiv (Cornell University)|Jun 10, 2014

Advanced Bandit Algorithms Research参考文献 29被引用数 396

ひとこと要約

本稿では、ブラックボックス関数のグローバル最大値に関する期待情報量の増加を最大化するように評価点を選択するベイジアン最適化手法である予測エントロピー探索（PES）を提案する。情報量に基づく獲得関数を予測分布エントロピーを用いて再定式化することで、特にノイズが多いかマルチモーダルな設定において、エントロピー探索（ES）や期待改善（EI）よりもより正確かつ効率的な最適化を実現する。

ABSTRACT

We propose a novel information-theoretic approach for Bayesian optimization called Predictive Entropy Search (PES). At each iteration, PES selects the next evaluation point that maximizes the expected information gained with respect to the global maximum. PES codifies this intractable acquisition function in terms of the expected reduction in the differential entropy of the predictive distribution. This reformulation allows PES to obtain approximations that are both more accurate and efficient than other alternatives such as Entropy Search (ES). Furthermore, PES can easily perform a fully Bayesian treatment of the model hyperparameters while ES cannot. We evaluate PES in both synthetic and real-world applications, including optimization problems in machine learning, finance, biotechnology, and robotics. We show that the increased accuracy of PES leads to significant gains in optimization performance.

研究の動機と目的

• 導出不能な微分を伴う高価な評価が困難なブラックボックス関数を、効率的に最適化する課題に対処すること。
• 期待改善（EI）のような既存の獲得関数の限界を克服すること。EIは過度に貪欲であり、十分な探索が行われないことがある。
• グローバル最大値の位置に関する情報量の増加を定式化する情報理論的で整合性のあるアプローチを開発すること。
• 従来のエントロピーに基づく手法（例：エントロピー探索）が効率的に処理できなかったモデルハイパーパrameterの完全ベイジアン処理を可能にすること。
• 機械学習のハイパーパrameterチューニング、ロボット工学、バイオテクノロジーを含む、合成的および実世界の問題において、最適化性能を向上させること。

提案手法

• 関数のグローバル最大値に関する予測分布の微分エントロピーの期待的減少に基づく、新たな獲得関数を提案する。
• 候補点における事後予測分布のエントロピーを近似することで、計算不能な情報理論的目的関数を再定式化する。
• ハイパーパrameterおよび関数実現のモンテカルロサンプリングを用いて、期待情報量の増加を推定し、獲得関数の効率的最適化を可能にする。
• サンプリングを介してハイパーパrameterの周辺化を獲得関数に統合し、GPハイパーパrameterの完全ベイジアン処理を可能にする。
• カーネル関数を用いたガウス過程事前分布を用いて、潜在関数をモデル化し、観測されたノイズ付き評価に基づいて事後分布を更新する。
• 信頼領域法を用いて獲得関数を逐次最適化し、グローバル最適化子に関する期待情報量の増加を最大化する次回の評価点を選択する。

実験結果

リサーチクエスチョン

• RQ1 グローバル最大値に関する期待情報量の増加を最大化する情報理論的獲得関数は、期待改善（EI）のようなヒューリスティック手法を凌駆できるか？
• RQ2 実用的なベイジアン最適化において、計算不能なエントロピーに基づく獲得関数を効率的に近似する方法は何か？
• RQ3 本手法は、従来のエントロピーに基づくアプローチとは異なり、モデルハイパーパラメータの完全ベイジアン処理をサポートできるか？
• RQ4 向上した情報理論的定式化により、複雑でマルチモーダルまたはノイズが多い目的関数において、最適化性能が向上するか？
• RQ5 多様な合成的および実世界の問題において、収束速度および最終的なレジスト（regret）の観点から、PESはエントロピー探索（ES）および期待改善（EI）を上回るか？

主な発見

• 合成ベンチマーク関数において、PESは特に高次元またはマルチモーダルな設定において、エントロピー探索（ES）や期待改善（EI）よりも顕著に低い即時のレジストを達成する。
• ハートマン関数において、PESはEIおよびESを上回り、複雑な地形においてより積極的な探索が有効であることを示しているが、それにはより多くの反復回数を要する。
• ニューラルネットワークハイパーパラメータチューニング（NNet）、水素生成（Hydrogen）、ポートフォリオ最適化（Portfolio）といった実世界の応用において、PESはESと同等またはそれ以上に性能を発揮し、EIは過度な貪欲性により凍結するのを回避する。
• 二足歩行ロボットの歩行速度最適化（Walker AおよびB）において、PESはEIおよびESを上回るが、特にノイズの多いWalker B設定において、ハイパーパラメータの完全ベイジアン処理が重要な優位性を提供する。
• 固定ハイパーパラメータを用いたPES-NBという変種はPESに劣り、ハイパーパラメータの周辺化がノイズ環境下での性能向上に不可欠であることを確認する。
• 計算不能なエントロピーに基づく獲得関数の正確な近似が、特に高次元および凸でない問題において、よりロバストで効率的な最適化を実現している。