[論文レビュー] Deep Gaussian Processes for Multi-fidelity Modeling

Kurt Cutajar, Mark Pullin+3 more|arXiv (Cornell University)|Mar 18, 2019

Gaussian Processes and Bayesian Inference参考文献 31被引用数 41

ひとこと要約

mf-dgpを導入する。マルチフィidelityデータ向けの深層ガウス過程モデルで、忠実度レベル間でエンドツーエンドのトレーニングと不確実性の伝播を可能にし、不確実性のキャリブレーションとアクティブ学習および実験設計における意思決定を改善する。

ABSTRACT

Multi-fidelity methods are prominently used when cheaply-obtained, but possibly biased and noisy, observations must be effectively combined with limited or expensive true data in order to construct reliable models. This arises in both fundamental machine learning procedures such as Bayesian optimization, as well as more practical science and engineering applications. In this paper we develop a novel multi-fidelity model which treats layers of a deep Gaussian process as fidelity levels, and uses a variational inference scheme to propagate uncertainty across them. This allows for capturing nonlinear correlations between fidelities with lower risk of overfitting than existing methods exploiting compositional structure, which are conversely burdened by structural assumptions and constraints. We show that the proposed approach makes substantial improvements in quantifying and propagating uncertainty in multi-fidelity set-ups, which in turn improves their effectiveness in decision making pipelines.

研究の動機と目的

• 高忠度データが不足かつ高価な場合に、信頼できるマルチフィ Fidelity モデリングの必要性を喚起する。
• 複数の忠実度を同時にモデル化できる深層ガウス過程フレームワークを開発する。
• 忠実度レイヤ間での不確実性伝播を伴うエンドツーエンドのトレーニングを提供し、過剰適合を回避する。
• 実世界および合成ベンチマークで、改良された不確実性定量化と実用性を示す。

提案手法

• 各忠実度を深層ガウス過程の層としてモデル化し、忠実度間のGPの組み合わせを可能にする。
• 各層に誘導点を持つスパース変分近似を用いて、推論を実現可能にする。
• 非線形忠実度写像と元の入力を結合するマルチフィ fidelityカーネルを定義する（Equation 9–11）。
• KL正則化を伴い、忠実度と層をまたいで合計する統一変分目的関数（ELBO）を採用する（Equation 7）。
• 確率的変分推論で訓練し、初期訓練を安定化させるために2段階の最適化を採用する。
• 前の忠実度を通じて入力を伝搬させ、MCサンプリングで任意の忠実度の出力を予測する（Equation 8）。

実験結果

リサーチクエスチョン

• RQ1 単一の深層GPモデルは、過剰適合なしに忠実度間の非線形関係を捉えられるか。
• RQ2 mf-dgpのエンドツーエンド訓練は、スタックドまたは自己回帰モデルと比較して不確実性のキャリブレーションを改善するか。
• RQ3 線形および非線形の忠実度写像を持つ合成マルチフィidelityタスクで、mf-dgpはどう機能するか。
• RQ4 大規模な実世界データセットに対して、信頼できる不確実性推定を維持しつつmf-dgpはスケーラブルか。

主な発見

• mf-dgpはデータが乏しい領域で保守的で良くキャリブレーションされた不確実性を生み出す。
• 合成ベンチマークでは、mf-dgpはlinearおよびnonlinearな忠実度写像に対して、R^2、RMSE、mnllでar1およびnargpを上回る。
• 大規模な実世界のマラリアデータセットでは、ミニバッチ訓練を用いたmf-dgpが高忠実度のみのGP（0.096）よりRMSEを低く抑え（0.063）。
• mf-dgpは事後共分散をカーネルとして用いる決定点過程を用いた実験設計をサポートする。
• 忠実度間のエンドツーエンド訓練は過剰適合を回避し、以前のマルチフィデリティアプローチと比較して後方不確実性伝播を改善する。