[論文レビュー] Conditional deep surrogate models for stochastic, high-dimensional, and multi-fidelity systems

Yibo Yang, Paris Perdikaris|arXiv (Cornell University)|Jan 15, 2019

Gaussian Processes and Bayesian Inference参考文献 61被引用数 5

ひとこと要約

本稿では、正則化された敵対的変分推論を用いた条件付き深層代替モデルを提案し、確率的で高次元的かつマルチファシリティなシステムにおけるスケーラブルで不確実性を伴う予測を可能にする。暗黙の生成モデルと潜在変数推論を活用することで、ノイズ多きく、スパースであるか、マルチファシリティなデータから複雑な条件付き分布を正確に捉え、不確実性の定量的評価とともに高次元動的予測において優れた性能を示す。

ABSTRACT

We present a probabilistic deep learning methodology that enables the construction of predictive data-driven surrogates for stochastic systems. Leveraging recent advances in variational inference with implicit distributions, we put forth a statistical inference framework that enables the end-to-end training of surrogate models on paired input-output observations that may be stochastic in nature, originate from different information sources of variable fidelity, or be corrupted by complex noise processes. The resulting surrogates can accommodate high-dimensional inputs and outputs and are able to return predictions with quantified uncertainty. The effectiveness our approach is demonstrated through a series of canonical studies, including the regression of noisy data, multi-fidelity modeling of stochastic processes, and uncertainty propagation in high-dimensional dynamical systems.

研究の動機と目的

• 確率的で高次元的かつマルチファシリティなデータを扱う、スケーラブルでデータ駆動型の代替モデリングフレームワークの開発。
• 複雑なノイズと異なるファシリティレベルを伴うペaired入出力観測データ上でエンドツーエンドの学習を可能にする。
• 最適化や感度分析などの後続タスクに向けた予測の不確実性定量化を提供する。
• 複雑な条件付き分布に対して、平均場近似やガウス近似の限界を克服する。
• 非ガウス的で相関のあるノイズプロセス下でも、非線形次元削減と頑健なモデリングを可能にする。

提案手法

• 複雑な条件付き分布 $ p(\bm{y}|\bm{x}) $ をモデル化するため、暗黙の変分推論に基づく正則化された敵対的推論フレームワークを採用する。
• 潜在変数 $ \bm{z} $ を組み込んだ確率的エンコーダーとデコーダーを有する条件付き生成モデルを用い、非線形な依存関係を捉え、次元削減を実現する。
• 実データと生成データを区別するディスクラミネーターを用いた敵対的訓練を実施し、分布の忠実性を向上させるとともに、モード崩壊を抑制する。
• エントロピー正則化とデータ適合ペナルティ（$ \lambda = 1.5 $, $ \beta = 0.5 $）を導入し、学習の安定化と一般化性能の向上を図る。
• 時間は連続的なラベルとして扱い、入力空間および潜在空間にブロードキャストすることで、動的システムにおける時系列モデリングを可能にする。
• Adam最適化手法を用い、学習率 $ 10^{-4} $ でジェネレーターとディスクラミネーターを交互に学習する。

実験結果

リサーチクエスチョン

• RQ1 深層確率的代替モデルは、スパースでノイズの多い入出力ペアから、複雑な高次元的条件付き分布を効果的に学習できるか？
• RQ2 マルチファシリティデータを伴う確率的動的システムにおいて、本手法は不確実性定量化にどの程度効果的か？
• RQ3 本モデルは未学習の時間インスタンスに一般化でき、予測精度と不確実性のキャリブレーションを維持できるか？
• RQ4 平均場変分推論と比較して、本手法は複雑で非ガウス的かつマルチモーダルな出力分布をどの程度正確に捉えられるか？
• RQ5 本モデルは、高次元的かつ相関のあるデータから、低次元の潜在構造をどの程度効果的に発見できるか？

主な発見

• 本モデルは、128次元のバーガース方程式の軌道を生成する際、わずか100回の学習実現からのみでも、高精度なシミュレーションと強い定性的な一致を達成した。
• 時間 $ t = 12.5, 25, 37.5, 50 $ の4つの未学習時刻において、代替モデルの平均と標準偏差の予測が、参照シミュレーション軌道とよく一致した。
• 本手法は、複雑で非ガウス的かつ相関のあるノイズプロセスを効果的にモデル化でき、分布の正確性において標準的な平均場近似を上回った。
• 潜在変数の使用により、限られた学習データ下でも、非線形次元削減と複雑なノイズへの頑健性が実現された。
• 本モデルは高次元設定においてスケーラビリティと安定性を示し、多様なデータモダリティにわたり予測の不確実性推定を維持した。
• 本フレームワークは、高次元動的システムにおける正確な不確実性伝搬を可能にし、ベイズ最適化やアクティブラーニングなどの後続タスクを支援した。