[論文レビュー] Bayesian Optimization using Deep Gaussian Processes

Ali Hebbal, Loïc Brevault+3 more|arXiv (Cornell University)|May 7, 2019

Gaussian Processes and Bayesian Inference参考文献 58被引用数 14

ひとこと要約

本稿では、非定常ブラックボックス関数をより効果的に取り扱えるようにするため、深層ガウス過程（DGP）を surrogate モデルとして用いたベイズ最適化（BO）アルゴリズムである DEGO を提案する。DGP の階層的構造を活用して非定常性をより良い表現が可能となり、自然勾配最適化とウォームスタート初期化を統合することで、標準的なガウス過程（GP）に比べて収束が速く、性能が優れている。解析的関数および航空宇宙設計問題において、最先端のBO手法に比べて優れた収束性と優れた性能を示した。

ABSTRACT

Bayesian Optimization using Gaussian Processes is a popular approach to deal with the optimization of expensive black-box functions. However, because of the a priori on the stationarity of the covariance matrix of classic Gaussian Processes, this method may not be adapted for non-stationary functions involved in the optimization problem. To overcome this issue, a new Bayesian Optimization approach is proposed. It is based on Deep Gaussian Processes as surrogate models instead of classic Gaussian Processes. This modeling technique increases the power of representation to capture the non-stationarity by simply considering a functional composition of stationary Gaussian Processes, providing a multiple layer structure. This paper proposes a new algorithm for Global Optimization by coupling Deep Gaussian Processes and Bayesian Optimization. The specificities of this optimization method are discussed and highlighted with academic test cases. The performance of the proposed algorithm is assessed on analytical test cases and an aerospace design optimization problem and compared to the state-of-the-art stationary and non-stationary Bayesian Optimization approaches.

研究の動機と目的

• 古典的なベイズ最適化におけるガウス過程の定常な共分散仮定による非定常ブラックボックス関数の取り扱いの限界を解消すること。
• 複雑な非定常応答面をモデル化できる、深層ガウス過程（DGP）の表現力を利用した新しいベイズ最適化アルゴリズムの開発。
• 繰り返しBOサイクルにおける自然勾配学習とウォームスタート初期化を統合することで、最適化の効率を向上させること。
• ベンチマーク用の解析的関数および実世界の航空宇宙設計問題において、提案手法の妥当性を検証し、収束性と頑健性の優位性を示すこと。
• 標準的なGPベースの手法を超えて、DGPsがベイズ最適化に与える可能性を探索すること。これには、代替のインフィル基準や並列化の可能性を含む。

提案手法

• 非定常性を、定常なGPの関数的合成によって捉えるために、2層の隠れ層を有する深層ガウス過程（DGP）の surrogate モデルを採用する。
• DGPのすべての変分パラメータに対して自然勾配最適化を適用し、下界の期待値（ELBO）の収束を改善する。
• 反復的BOループにおいて、前回のDGPモデルの最適パラメータを次回の反復に引き継ぐウォームスタート初期化を採用し、学習を加速する。
• DGPの予測が必ずしも正規分布でないため、期待改善（EI）インフィル基準のサンプリングベースの近似を用いる。
• インフィル基準の最適化に、400の個体と100世代を持つ並列差分進化法を用いる。
• データは平均0、分散1に標準化され、全層に初期長尺度と分散が1のRBFカーネルが使用される。

実験結果

リサーチクエスチョン

• RQ1 深層ガウス過程（DGP）は、標準的なガウス過程（GP）に比べて、非定常ブラックボックス関数におけるベイズ最適化の性能を向上させることができるか？
• RQ2 自然勾配最適化の使用は、反復的ベイズ最適化の文脈において、DGPの学習安定性と収束性をどのように向上させるか？
• RQ3 BOの各反復においてDGPパラメータにウォームスタート初期化を適用することで、学習時間の短縮と収束速度の向上がどの程度達成されるか？
• RQ4 提案されたDEGOアルゴリズムは、解析的および実世界の問題において、最先端の定常的および非定常的ベイズ最適化手法と比較して、どのように性能を発揮するか？
• RQ5 予測が正規分布でない場合に、サンプリングベースのインフィル基準をDGPベースのベイズ最適化に適用した際の影響は何か？

主な発見

• DEGOは、修正版Xiong関数およびTNK関数を含む解析的テスト関数において、標準BOと非線形マッピング手法に比べて、より速い収束性と優れた頑健性を示した。
• 10次元のTrid関数において、DEGOはベースライン手法よりも少ない関数評価回数でグローバル最小値に到達した。
• 6次元のHartmann関数において、DEGOは最先端の手法に比べて、特に非定常性が強い領域で優れた最適化性能を発揮した。
• 実世界の航空宇宙設計最適化問題において、DEGOは古典的BOに比べて収束が著しく速く、工学的応用における実用的利点を示した。
• 自然勾配最適化の使用により、DGP学習中のELBO収束がより安定的かつ高速化され、不確実性の評価が向上した。
• ウォームスタート初期化により、連続するBO反復における学習時間が短縮され、全体のアルゴリズム効率が向上した。