[论文解读] Physics-informed deep generative models

Yibo Yang, Paris Perdikaris|arXiv (Cornell University)|Dec 9, 2018

Model Reduction and Neural Networks参考文献 22被引用 59

一句话总结

该论文提出了一种物理信息驱动的对抗变分框架，通过约束深度生成模型满足潜在物理规律，在PDE驱动系统中传播不确定性。它以 Burgers 方程作为典型测试案例。

ABSTRACT

We consider the application of deep generative models in propagating uncertainty through complex physical systems. Specifically, we put forth an implicit variational inference formulation that constrains the generative model output to satisfy given physical laws expressed by partial differential equations. Such physics-informed constraints provide a regularization mechanism for effectively training deep probabilistic models for modeling physical systems in which the cost of data acquisition is high and training data-sets are typically small. This provides a scalable framework for characterizing uncertainty in the outputs of physical systems due to randomness in their inputs or noise in their observations. We demonstrate the effectiveness of our approach through a canonical example in transport dynamics.

研究动机与目标

• 为数据受限的物理系统提供鲁棒不确定性量化的动机。
• 开发一个概率性、物理约束的生成模型以纳入 PDE 定律。
• 提供一个对抗性推断框架以训练并正则化深度生成模型。
• 在 Burgers 方程的输运-动力学示例上演示该方法。

提出的方法

• 将条件潜变量模型 p(u|x,t)=∫ p(u|x,t,z)p(z|x,t) dz 与物理约束 u_t+N_x u=0 一起形式化。
• 使用物理信息神经网络对 PDE 残差 r_theta(x,t)=∂t f_theta(x,t)+N_x f_theta(x,t) 进行编码，并最小化数据损失和残差损失。
• 使用反向 KL 目标进行训练，通过对抗设置将 p_theta(x,t,u) 与 q(x,t,u) 联系起来，使用判别器 T_psi 和编码器 q_phi(z|x,t,u)。
• 推导可计算的熵下界 h(p_theta(x,t,u))≥h(p(z))+E[...] [log q_phi(z|x,t,u)]，从而实现可计算的训练。
• 优化一对耦合目标：最大化判别器损失 L_D(psi) 并最小化生成器损失 L_G(theta,phi)，并加上 PDE 残差惩罚项 β L_PDE(theta)。
• 通过循环一致的潜在编码和由 λ 控制的熵正则化来展示稳定性。

实验结果

研究问题

• RQ1 一个物理信息驱动的概率生成模型是否能在非线性 PDE 动力学中准确传递输入噪声？
• RQ2 将 PDE 残差作为正则化项是否能在小数据情形下提升数据效率和不确定性量化？
• RQ3 对抗性训练框架如何影响带约束的生成模型中的后验采样和模式覆盖？
• RQ4 PDE 约束对在出现冲击区域（如 Burgers 方程）的预测不确定性聚集有何影响？

主要发现

• 提出的 p_theta(u|x,t,z) 能捕捉因输入噪声传播而引起的时空 PDE 解的不确定性。
• 在 Burgers 方程中，不确定性集中在冲击形成附近，同时提供非高斯的预测统计。
• 带 PDE 残差正则化项的对抗训练在数据有限时提高鲁棒性并减轻模式崩溃。
• Burgers 方程实验证明初始条件噪声通过非线性动力学得到有效传播。
• 系统性研究表明对初始化和结构的鲁棒性，并强调对抗训练超参数的敏感性。