[论文解读] ADCME: Learning Spatially-varying Physical Fields using Deep Neural Networks

Kailai Xu, Eric Darve|arXiv (Cornell University)|Nov 24, 2020

Model Reduction and Neural Networks参考文献 37被引用 18

一句话总结

ADCME 提出了一种物理信息深度学习框架，将涉及空间变化物理场的反问题表述为PDE约束优化问题。通过将数值求解器和深度神经网络均表示为计算图，ADCME 实现了通过反向模式自动微分的高效梯度计算与物理约束学习，在线性与非线性PDE（包括Stokes方程、超弹性方程和Burgers方程）的小样本场景下，其精度优于传统离散化方法。

ABSTRACT

ADCME is a novel computational framework to solve inverse problems involving physical simulations and deep neural networks (DNNs). This paper benchmarks its capability to learn spatially-varying physical fields using DNNs. We demonstrate that our approach has superior accuracy compared to the discretization approach on a variety of problems, linear or nonlinear, static or dynamic. Technically, we formulate our inverse problem as a PDE-constrained optimization problem. We express both the numerical simulations and DNNs using computational graphs and therefore, we can calculate the gradients using reverse-mode automatic differentiation. We apply a physics constrained learning algorithm (PCL) to efficiently back-propagate gradients through iterative solvers for nonlinear equations. The open-source software which accompanies the present paper can be found at https://github.com/kailaix/ADCME.jl.

研究动机与目标

• 解决传统离散化方法在从有限观测数据中学习空间变化物理场时存在的病态性与低精度问题。
• 开发一个统一的计算框架，将深度神经网络与基于物理的数值求解器集成用于反问题。
• 通过将PDE求解器与DNN均表示为计算图，实现基于梯度的优化，借助自动微分。
• 证明深度神经网络在小样本设置下作为表达性强、带正则化的函数逼近器在物理场建模中的有效性。
• 提供一个开源软件框架（ADCME.jl），支持可扩展的、可微分的物理模拟与深度学习集成。

提出的方法

• 将反问题表述为PDE约束优化：在满足 F(u, Nθ) = 0 的条件下最小化损失函数 J(u)，其中 Nθ 是近似空间变化物理场的DNN。
• 将有限元求解器与深度神经网络均表示为计算图，以支持使用反向模式AD的端到端自动微分。
• 实现物理约束学习（PCL），通过伴随法对牛顿-拉夫森等迭代非线性求解器进行梯度反向传播，并采用检查点技术以提高内存效率。
• 在计算图中使用张量级操作与高层有限元组装，以平衡性能与开发开销。
• 将该框架应用于多种PDE，包括Stokes流、超弹性问题以及具有空间变化参数的时间依赖Burgers方程。
• 利用开源的ADCME.jl库，在受控数据场景下对基准反问题进行方法的实现与基准测试。

实验结果

研究问题

• RQ1 在数据稀缺的情况下，深度神经网络是否能在学习空间变化物理场方面优于传统的基于网格的离散化方法？
• RQ2 在DNN嵌入物理模型的端到端训练过程中，如何高效地将梯度反向传播通过非线性PDE求解器？
• RQ3 与分片常数或节点离散化相比，使用DNN作为物理场参数化在提升平滑性与精度方面能达到何种程度？
• RQ4 所提出的框架是否能以一致的性能与可扩展性处理静态与动态、线性与非线性PDE？
• RQ5 优化与正则化策略（通过DNN架构选择）在病态反问题中的选择，如何影响收敛性与精度？

主要发现

• 在Stokes问题中，即使数据有限，基于DNN的方法在点对点绝对误差上显著优于离散化方法。
• 在超弹性问题中，DNN学习到了比分片常数离散化更平滑、更精确的空间变化杨氏模量场，且最大点对点误差更低。
• 在Burgers方程情形中，由于病态性，离散化方法从常数初始猜测无法收敛，而DNN方法在60次迭代内成功收敛。
• 在小样本场景下，DNN方法表现出更快的损失函数衰减与更好的泛化能力，尤其在未知场空间相关性较低的问题中表现更优。
• 物理约束学习方法实现了对牛顿-拉夫森等非线性求解器的稳定梯度反向传播，使端到端训练成为可能。
• 开源的ADCME.jl框架成功集成了有限元求解器与深度学习，通过计算图与检查点技术实现了高效的梯度计算。