[論文レビュー] Constrained Bayesian Optimization with Max-Value Entropy Search

Valerio Perrone, Iaroslav Shcherbatyi+3 more|arXiv (Cornell University)|Oct 15, 2019

Gaussian Processes and Bayesian Inference参考文献 26被引用数 16

ひとこと要約

この論文は、連続的およびバイナリ制約を扱うためにMax-Value Entropy Searchを拡張した制約付きベイズ最適化手法cMESを提案する。cMESは、制約付き最適解の共同事後分布サンプリングを用いる。実世界のハイパーパrameter最適化において、従来の手法（制約付き期待改善や適応的パーセンタイルベースライン）を上回る性能を示す一方で、事後分布サンプリングにおける平均場近似が誤った独立性仮定を導入するため、性能が著しく低下することが明らかになった。

ABSTRACT

Bayesian optimization (BO) is a model-based approach to sequentially optimize expensive black-box functions, such as the validation error of a deep neural network with respect to its hyperparameters. In many real-world scenarios, the optimization is further subject to a priori unknown constraints. For example, training a deep network configuration may fail with an out-of-memory error when the model is too large. In this work, we focus on a general formulation of Gaussian process-based BO with continuous or binary constraints. We propose constrained Max-value Entropy Search (cMES), a novel information theoretic-based acquisition function implementing this formulation. We also revisit the validity of the factorized approximation adopted for rapid computation of the MES acquisition function, showing empirically that this leads to inaccurate results. On an extensive set of real-world constrained hyperparameter optimization problems we show that cMES compares favourably to prior work, while being simpler to implement and faster than other constrained extensions of Entropy Search.

研究の動機と目的

• 未知の制約下でのベイズ最適化の課題に取り組むこと、特に制約違反が高コストまたは不可能な実世界のハイパーパrameterチューニングにおいて。
• 実数値およびバイナリ制約の両方を扱える、計算効率の良い獲得関数を設計し、Max-Value Entropy Search (MES) を一般化すること。
• 既存の制約付きBO手法を改善し、実行可能領域のより良い探索を可能にするとともに、非実行可能な評価を最小限に抑えること。
• 特に、制約付き最適解 $y_\star$ の異なるサンプリング戦略がもたらす影響を調査すること、特に従来のMES研究で用いられた平均場近似の妥当性を検証すること。

提案手法

• cMESは、目的関数の制約付き最小値に関する期待情報量の増加を最大化する、新しい情報理論的獲得関数を導入する。
• 平均場近似の独立性仮定を回避するため、制約付き最適解 $y_\star$ の共同事後分布サンプリングを採用し、これが性能劣化を引き起こすことが示された。
• 目的関数の観測値が存在する場合と存在しない場合の両方を扱えるように設計されており、制約を満たした場合にのみ目的関数が評価される状況にも対応できる。
• 獲得関数は、候補最適解の離散化された集合上でモンテカルロ近似を用いて計算され、目的関数と制約値の両方における $y_\star$ の共同サンプリングが行われる。
• 他のエントロピー探索ベースの制約付きBO手法と比較して、より単純かつ高速に実装可能でありながら、高いサンプル効率を維持している。
• 本手法は、バイナリ制約（例：OOM障害）および連続的制約（例：遅延制限）を伴う実世界のハイパーパrameter最適化問題に対して評価されている。

実験結果

リサーチクエスチョン

• RQ1 従来のMESで用いられた平均場近似と比較して、制約付き最適解 $y_\star$ の共同サンプリングが最適化性能を向上させるか？
• RQ2 cMESは、制約付き期待改善（cEI）や適応的パーセンタイル法といった既存のベースラインと比較して、収束速度および実行可能性の面で優れているか？
• RQ3 cMESは、実世界のハイパーパラメータ最適化環境において、バイナリ制約と連続的制約の両方のフィードバックを効果的に処理できるか？
• RQ4 サンプルされた最適解の数 $|Y^*|$ がcMESの性能に与える影響は何か？
• RQ5 制約と目的関数が独立して評価可能な状況にも、cMESを拡張できるか？

主な発見

• cMESは、10個の制約付きハイパーパラメータ最適化問題において、平均順位が3.08を達成し、制約付き期待改善（cEI）や他のベースラインを著しく上回った。
• $y_\star$ のサンプリングに平均場近似を用いると、性能が著しく低下し、周辺分布からのサンプリングに切り替えると平均順位が5.5から6.5に上昇した。
• $y_\star$ の共同サンプリングは、わずか2サンプルでも効果的であり、10サンプルを超えると性能が頭打ちになることが示された。これは、高密度のサンプル数が必ずしも必要でないことを示している。
• 適応的パーセンタイルベースラインは単純であるが、cEIを上回り、cMESと同等の性能を示した。今後の研究において、強力なベースラインとして検討すべきである。
• cMESはPESCや他のエントロピー探索変種を上回る性能を発揮した一方で、実装がより単純かつ高速である。
• 本手法はバイナリ制約と実数値制約の両方のフィードバック設定において、優れた性能を維持しており、一般化能力が確認された。