[论文解读] Deep Neural Network Approach to Forward-Inverse Problems

Hyeontae Jo, Hwijae Son+2 more|arXiv (Cornell University)|Jul 27, 2019

Model Reduction and Neural Networks参考文献 24被引用 9

一句话总结

本文提出了一种统一的深度神经网络（DNN）架构，可同时近似求解微分方程（正问题）和从数据中识别模型参数（逆问题）。通过集成物理信息损失函数、自动微分和基于梯度的优化，该方法在满足线性PDE的条件下收敛至解析解，并在1D/2D对流、热传导、波动和Lotka-Volterra系统中表现出稳健性能，即使在违反CFL条件等不稳定的数值条件下亦然。

ABSTRACT

In this paper, we construct approximated solutions of Differential Equations (DEs) using the Deep Neural Network (DNN). Furthermore, we present an architecture that includes the process of finding model parameters through experimental data, the inverse problem. That is, we provide a unified framework of DNN architecture that approximates an analytic solution and its model parameters simultaneously. The architecture consists of a feed forward DNN with non-linear activation functions depending on DEs, automatic differentiation, reduction of order, and gradient based optimization method. We also prove theoretically that the proposed DNN solution converges to an analytic solution in a suitable function space for fundamental DEs. Finally, we perform numerical experiments to validate the robustness of our simplistic DNN architecture for 1D transport equation, 2D heat equation, 2D wave equation, and the Lotka-Volterra system.

研究动机与目标

• 开发一种简化的、统一的深度学习框架，可同时求解微分方程的正问题与逆问题。
• 为线性PDE的DNN解在合适函数空间中收敛至解析解提供理论收敛性分析。
• 在基准PDE和ODE上验证该方法的鲁棒性，包括违反经典稳定性条件的情况。
• 通过使用标准深度学习库实现，减少对数值分析专家知识的依赖。
• 探索DNN在非线性系统中的潜力，尽管当前存在理论限制。

提出的方法

• 该架构采用前馈DNN，其激活函数根据控制微分方程的特点进行设计。
• 利用自动微分计算网络输出的导数，从而支持物理信息损失函数的构建。
• 损失函数结合了PDE残差项、边界/初始条件项以及逆问题中的数据保真项。
• 通过基于梯度的优化，同时学习模型参数（如对流速率、扩散系数）与解本身。
• 应用降阶技术以简化系统，提升训练稳定性。
• 通过能量估计和对先前通用逼近定理在导数上的推广，证明理论收敛性。

实验结果

研究问题

• RQ1 单一DNN架构能否以统一方式有效求解微分方程的正问题与逆问题？
• RQ2 在适当条件下，DNN解是否收敛至线性PDE的真实解析解？
• RQ3 当应用于数值格式不稳定的方程（如违反CFL条件）时，该方法的鲁棒性如何？
• RQ4 尽管缺乏理论收敛性保证，该DNN架构能否处理非线性系统（如Lotka-Volterra方程）？
• RQ5 该方法在多大程度上减少了对领域特定数值专业知识的依赖？

主要发现

• 通过能量估计和通用逼近理论证明，DNN解在$L_∞$范数下收敛至线性PDE的解析解。
• 该方法在1D对流方程、2D热传导方程、2D波动方程以及Lotka-Volterra方程中均实现了高精度的解近似，即使在违反CFL数值稳定性条件的情况下亦然。
• 对于2D热传导方程，该方法在违反Von Neumann稳定性条件时仍能产生准确结果，表明其对经典数值约束具有鲁棒性。
• 在Lotka-Volterra系统中使用$\sin$激活函数能有效捕捉解的周期性特征，从而提升近似质量。
• 所有测试问题中，该方法均实现了较低的损失值（例如$10^{-4}$），表明其在多种方程上具有稳定的性能表现。
• 该方法对参数不确定性具有鲁棒性，在数据有限时仍表现良好，表明其在数据驱动PDE中具备强大的泛化能力。