[論文レビュー] Physics-informed deep generative models

Yibo Yang, Paris Perdikaris|arXiv (Cornell University)|Dec 9, 2018

Model Reduction and Neural Networks参考文献 22被引用数 59

ひとこと要約

この論文は、物理法則を満たす深層生成モデルを制約することで、PDE支配系の不確実性を伝搬させる物理情報付き対向的変分フレームワークを導入する。 Burgers方程式を標準的なテストケースとして示す。

ABSTRACT

We consider the application of deep generative models in propagating uncertainty through complex physical systems. Specifically, we put forth an implicit variational inference formulation that constrains the generative model output to satisfy given physical laws expressed by partial differential equations. Such physics-informed constraints provide a regularization mechanism for effectively training deep probabilistic models for modeling physical systems in which the cost of data acquisition is high and training data-sets are typically small. This provides a scalable framework for characterizing uncertainty in the outputs of physical systems due to randomness in their inputs or noise in their observations. We demonstrate the effectiveness of our approach through a canonical example in transport dynamics.

研究の動機と目的

• データが乏しい物理系に対する堅牢な不確実性定量化を動機づける。
• PDE法則を組み込んだ確率的・物理制約付き生成モデルを開発する。
• 深層生成モデルを訓練・正則化する対向推論フレームワークを提供する。
• Burgers方程式の輸送-dynamics例でアプローチを実証する。

提案手法

• 条件付き潜在変数モデル p(u|x,t)=∫p(u|x,t,z)p(z|x,t)dz を、物理的制約として u_t+N_x u=0 として定式化する。
• 物理情報付きニューラルネットワークを用いてPDE残差 r_theta(x,t)=∂t f_theta(x,t)+N_x f_theta(x,t) を符号化し、データ損失と残差損失を最小化する。
• 逆KL目的で訓練し、判別器 T_psi とエンコーダ q_phi(z|x,t,u) を用いて p_theta(x,t,u) を q(x,t,u) に結びつける対向設定を用いる。
• 計算可能なエントロピー下界 h(p_theta(x,t,u))≥h(p(z))+E[...] [log q_phi(z|x,t,u)] を導出し、訓練を実現可能にする。
• PDE残差ペナルティ β L_PDE(theta) を用いて、識別器損失 L_D(psi) を最大化し、生成モデル損失 L_G(theta,phi) を最小化する2つの結合目的関数を最適化する。
• サイクル一貫性のある潜在エンコーディングとエントロピー正則化 λ による安定性を示す。

実験結果

リサーチクエスチョン

• RQ1 物理情報付き確率生成モデルは、非線形PDEダイナミクスを介して入力ノイズを正確に伝搬できるか。
• RQ2 PDE残差を正則化項として取り入れると、データが少ない領域でのデータ効率と不確実性定量化は向上するか。
• RQ3 対向訓練フレームワークは、物理制約付き生成モデルの後方サンプリングとモードカバレッジにどのような影響を与えるか。
• RQ4 PDE制約がショック形成が進行する領域における予測不確実性の集中に与える影響はどの程度か。

主な発見

• 提案された p_theta(u|x,t,z) は、入力ノイズ伝搬による時空間PDE解の不確実性を捉える。
• Burgers方程式のショック形成付近で不確実性が集中し、非ガウス的な予測統計を提供する。
• PDE残差正則化を伴う対向訓練は、ロバスト性を向上させ、限られたデータ下でのモード崩壊を抑制する。
• 非線形ダイナミクスを通じた初期条件ノイズの効果的伝搬を Burgers 方程式の実験で示す。
• 初期化・アーキテクチャへのロバスト性を系統的に検証し、対向訓練のハイパーパラメータ感度を強調する。