[論文レビュー] Predictive Entropy Search for Bayesian Optimization with Unknown Constraints

José Miguel Hernández-Lobato, Michael A. Gelbart+3 more|arXiv (Cornell University)|Feb 18, 2015

Gaussian Processes and Bayesian Inference参考文献 23被引用数 107

ひとこと要約

本稿では、未知の制約を扱う情報理論的ベイジアン最適化手法として、制約付き最小化子に関する期待情報量の増加を最大化することで、未知の制約を効果的に処理する予測エントロピー探索（PESC）を提案する。PESCは、合成的・ベンチマーク的・実世界の問題において、期待改善（EI）に基づく手法（EIC や AL）を上回る性能を示し、特に初期段階で実行可能な解がない場合にEIが失敗する分離された制約（decoupled constraints）のシナリオにおいて顕著な優位性を示す。

ABSTRACT

Unknown constraints arise in many types of expensive black-box optimization problems. Several methods have been proposed recently for performing Bayesian optimization with constraints, based on the expected improvement (EI) heuristic. However, EI can lead to pathologies when used with constraints. For example, in the case of decoupled constraints---i.e., when one can independently evaluate the objective or the constraints---EI can encounter a pathology that prevents exploration. Additionally, computing EI requires a current best solution, which may not exist if none of the data collected so far satisfy the constraints. By contrast, information-based approaches do not suffer from these failure modes. In this paper, we present a new information-based method called Predictive Entropy Search with Constraints (PESC). We analyze the performance of PESC and show that it compares favorably to EI-based approaches on synthetic and benchmark problems, as well as several real-world examples. We demonstrate that PESC is an effective algorithm that provides a promising direction towards a unified solution for constrained Bayesian optimization.

研究の動機と目的

• 期待改善（EI）の制約付きベイジアン最適化における限界、特に実行可能な解が存在しない場合や制約が分離されている場合の問題を解決すること。
• EIに基づく手法に内在する病理的特性を回避する統一的で情報理論的なアプローチを開発すること。
• 最小限の関数評価で、未知でかつ分離された制約下でも効果的な最適化を可能にすること。
• 実世界の高価なブラックボックス最適化問題に適用可能な、強固でスケーラブルな手法を提供すること。

提案手法

• PESCは、制約付き最小化子の位置に関する期待情報量の増加を近似することで、予測エントロピー探索（PES）を制約付き最適化に拡張する。
• 獲得関数は、目的関数と制約の共同ガウス過程モデルを用いて、制約付き最小化子の事後分布のエントロピーから導出される。
• 情報量の増加を計算する際に生じる積分が解析的に解けないため、期待伝播（EP）近似を用いて処理する。
• モンテカルロサンプルとスライスサンプリングを用いて、事後予測分布を近似し、候補点の積分を実行する。
• 現在の最良解が不要であるため、実行可能な評価が得られない状況でもロバストである。
• 数値的安定化技術を実装しており、Spearmintベイジアン最適化パッケージにオープンソースとして公開されている。

実験結果

リサーチクエスチョン

• RQ1 情報理論的獲得関数は、制約付きベイジアン最適化において期待改善を上回る性能を示せるか？
• RQ2 未知の制約を伴う問題において、PESCはEICや拡張ラグランジュ法と比較してどのように性能を発揮するか？
• RQ3 初期データに実行可能な解が存在しない分離された制約下でも、PESCは有効に機能するか？
• RQ4 ノイズが多いか高次元のブラックボックス関数に制約を課した場合、PESCはどのように対処するか？
• RQ5 PESCは、高価な関数評価を伴う実世界の最適化問題に信頼性を持って適用可能か？

主な発見

• PESCは合成ベンチマーク問題においてEICを著しく上回り、真値評価では分類誤差が7.0±0.6%に対し、EICは49±4%を示した。
• HMCハイパーパramータチューニングタスクでは、PESCの平均有効サンプルサイズは3300±1200であったのに対し、EICは2300±900であった。これは、MCMCの混合性能が優れていることを示している。
• EICが現在の最良解が存在しないために失敗する分離された制約シナリオにおいて、PESCはロバストであることが示された。
• PESCの性能は、リジェクションサンプリングに基づく真値手法と同等であり、情報量増加推定の正確性が裏付けられた。
• PESCはハイパーパramータチューニングやMCMC設定といった実世界の問題を効果的に処理でき、実用的価値を示した。
• EP近似における数値的不安定性が見られたが、著者らは安定版を実装し、Spearmintにオープンソースとして公開した。