[論文レビュー] Multi-fidelity modeling with different input domain definitions using Deep Gaussian Processes

Ali Hebbal, Loïc Brevault+3 more|arXiv (Cornell University)|Jun 29, 2020

Probabilistic and Robust Engineering Design参考文献 57被引用数 47

ひとこと要約

論文はMF-DGPを拡張し、 fidelities 間で入力空間が異なる場合を扱えるよう、非パラメトリックベイズ入力マッピングをMF-DGP内に埋め込み（MF-DGP-EM）し、結合最適化と不確実性定量を実現します。分析的および物理的問題において、標準のMF-DGPおよびスペースマッピング法と比較して予測精度と不確実性の扱いが改善されることを示します。

ABSTRACT

Multi-fidelity approaches combine different models built on a scarce but accurate data-set (high-fidelity data-set), and a large but approximate one (low-fidelity data-set) in order to improve the prediction accuracy. Gaussian Processes (GPs) are one of the popular approaches to exhibit the correlations between these different fidelity levels. Deep Gaussian Processes (DGPs) that are functional compositions of GPs have also been adapted to multi-fidelity using the Multi-Fidelity Deep Gaussian process model (MF-DGP). This model increases the expressive power compared to GPs by considering non-linear correlations between fidelities within a Bayesian framework. However, these multi-fidelity methods consider only the case where the inputs of the different fidelity models are defined over the same domain of definition (e.g., same variables, same dimensions). However, due to simplification in the modeling of the low-fidelity, some variables may be omitted or a different parametrization may be used compared to the high-fidelity model. In this paper, Deep Gaussian Processes for multi-fidelity (MF-DGP) are extended to the case where a different parametrization is used for each fidelity. The performance of the proposed multifidelity modeling technique is assessed on analytical test cases and on structural and aerodynamic real physical problems.

研究の動機と目的

• HFとLFモデルが異なる入力パラメータ化や次元を持ち得るという制限を動機づけ、対処する。
• 非パラメトリックベイズフレームワークで入力空間の写像と多忠実度関係を共同学習するMF-DGP-EMを開発する。
• 入力空間の相関を維持しつつ、忠実度間情報伝達を可能にする。
• 解析的および実際の物理問題（構造・空力）でアプローチを評価し、既存手法と比較する。

提案手法

• MF-DGP-EMを二層の深いガウス過程として定式化し、それぞれのレイヤーを忠実度に対応させ、連続する入力空間間に写像GPを設ける。
• 名目的な写像HFデータに条件付けられた多出力の入力写像GPを導入し、HF入力をLF入力へ変換する。
• 入力写像をMF-DGPの共分散に組み込み、kl(x(i), x(j)) = kρ_l(x(i), x(j)) × kf−1_l(f∗−1_l(x(i)), f∗−1_l(x(j))) + kγ_l(x(i), x(j)) の形で表現する。
• レイヤーごとにイン duc ing inputs を用い、変分（二重確率的）ELBO目的関数でモデルを訓練する。
• 変分パラメータには自然勾配法のステップを、ハイパーパラメータには確率的勾配法のステップを採用する；前のレイヤー予測への依存を保つようイン duc ing inputsを制約する（式(13)のように）。
• 新しい点で予測する際には、第一レベルを通して低忠実度の予測を得てから第二レベルを通して多忠実度の予測を得る。

実験結果

リサーチクエスチョン

• RQ1 MF-DGPを拠り所に、忠実度間で入力空間のパラメトリゼーションが異なる場合をどう扱えるか。
• RQ2 MF-DGPに埋め込まれた非パラメトリックなベイズ入力マッピングは、入力空間が異なる場合の予測精度と不確実性定量を改善できるか。
• RQ3 入力マッピングとMF-DGPを共同学習することは、固定マッピングまたは標準MF-DGPと比べて予測性能にどのような影響を与えるか。
• RQ4 MF-DGP-EMは解析的および実世界の構造/空力の多忠実度問題において、MF-DGPおよびスペースマッピングベースラインと比較してどう機能するか。

主な発見

• MF-DGP-EMは、忠実度間で入力空間が異なる場合にMF-DGPより予測と不確実性定量を改善する（例：RMSE 0.077 対 0.255; MNLL −1.921 対 0.231 の示範比較）。
• MF-DGP-EMアプローチは、HFデータセットサイズの異なる場合でも堅牢な性能を示し、バイアス補正およびGP-HFベースラインを複数の設定で上回る。
• HFデータサイズが異なる問題1で、MF-DGP-EMはGP-HFおよびBCよりもRMSEとMNLLが優れ、DoEの変動に対する頑健性を示した。
• 問題2では、HFデータサイズが増加するにつれてMF-DGP-EMは一般にRMSEと不確実性定量を改善し、BCおよびGP-HFを多くの場面で上回った。
• このアプローチは、非パラメトリックな写像を活用しつつ、元の入力空間の相関を維持して、写像とMF-DGPモデルの同時最適化を可能にする。