[論文レビュー] Deep Multi-fidelity Gaussian Processes

Maziar Raissi, George Em Karniadakis|arXiv (Cornell University)|Apr 26, 2016

Gaussian Processes and Bayesian Inference参考文献 4被引用数 53

ひとこと要約

本稿では、深層ニューラルネットワークとマルチフィデリティガウス過程を組み合わせることで、低・高フィデリティシステム間の不連続で非関数的（non-functional）な相関関係をモデル化する深層マルチフィデリティガウス過程フレームワークを提案する。深層ニューラルネットワークを用いて非線形特徴変換を学習することで、古典的AR(1)共クリギングの制限を超えた複雑な相関構造を捉え、不連続な関係を示すベンチマーク問題において優れた性能を示す。

ABSTRACT

We develop a novel multi-fidelity framework that goes far beyond the classical AR(1) Co-kriging scheme of Kennedy and O'Hagan (2000). Our method can handle general discontinuous cross-correlations among systems with different levels of fidelity. A combination of multi-fidelity Gaussian Processes (AR(1) Co-kriging) and deep neural networks enables us to construct a method that is immune to discontinuities. We demonstrate the effectiveness of the new technology using standard benchmark problems designed to resemble the outputs of complicated high- and low-fidelity codes.

研究の動機と目的

• 低・高フィデリティシステム間の不連続で非関数的（non-functional）な相関関係をモデル化する際の古典的AR(1)共クリギングの限界を解消すること。
• 豊富な低フィデリティデータと限られた高フィデリティデータを効率的に活用し、予測精度を向上させるサーモンモデリングフレームワークの開発。
• 高価で複雑かつ不連続なシステムを含む逆問題における正確な不確実性評価の実現。
• 深層ニューラルネットワークを用いて入力の非線形変換を学習することで、パラメトリックな仮定を超えたマルチフィデリティモデリングの一般化。

提案手法

• 深層ニューラルネットワークによって学習される非線形写像 $ h(x) $ に依存する多変量ガウス過程事前分布を定式化する。
• 高フィデリティ出力を $ f_2(h(x)) = \rho f_1(h(x)) + \delta_2(h(x)) $ としてモデル化し、$ \delta_2 \sim \mathcal{GP}(0, k_2) $ とする。これにより、$ h(x) \neq x $ を許容するAR(1)共クリギングモデルの拡張が実現される。
• 深層ニューラルネットワーク $ h(x) = (h^L \circ \cdots \circ h^1)(x) $ を用いて、クロス相関がより構造的かつ学習可能になる非線形特徴空間を学習する。
• すべてのハイパーパrameter $ \theta = [\rho, \theta_1, \theta_2, \theta_h] $（ニューラルネットワークの重みを含む）の同時尤度を最適化することで、モデルをエンドツーエンドで訓練する。
• 予測は、結合ガウス過程事後分布の周辺化により実行され、両フィデリティレベルの予測平均と分散が得られる。
• 非一意的だが効果的な非線形写像 $ h $ を学習することで、相関構造の不連続性を捉えることが可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 古典的AR(1)共クリギングと比較して、深層ニューラルネットワークは、低・高フィデリティシステム間の不連続で非関数的（non-functional）な相関関係のモデル化をどの程度改善できるか？
• RQ2 学習された非線形変換 $ h(x) $ は、マルチフィデリティデータにおける複雑で不連続な関係をどの程度効果的に捉えることができるか？
• RQ3 高フィデリティデータが限られている状況において、提案手法は予測誤差をどの程度低減できるか？
• RQ4 深層学習とガウス過程の統合は、不連続なシステムにおけるより良い一般化を可能にしつつ、不確実性評価を保持できるか？

主な発見

• 合成ベンチマーク問題（非滑らかな関係を有する）において、提案手法はAR(1)共クリギングを著しく上回り、不連続なクロス相関を的確に捉えていることが実証された。
• 深層ニューラルネットワークは、不連続領域を効果的に分離する2次元の特徴空間を学習し、フィデリティ間の非関数的依存関係を正確にモデル化している。
• 高フィデリティ観測値がたった15件しかない状況でも、予測平均と不確実性推定が正確に得られており、データ効率性が裏付けられた。
• 不連続領域において、深層マルチフィデリティGPの予測不確実性バインディングは、AR(1)共クリギングよりもきめ細かく正確であることが示された。
• 真の不連続な写像 $ h(x) $ をモデルが正しく捉えているが、学習された写像は一意的ではないため、表現の選択に対してロバストであることが示された。
• ガウス過程が持つベイジアン不確実性評価を維持しつつ、複雑で滑らかでない相関構造に対しても対応可能な能力を拡張している。