[论文解读] A deep neural network approach on solving the linear transport model under diffusive scaling

Liu Liu, Tieyong Zeng+1 more|arXiv (Cornell University)|Feb 24, 2021

Model Reduction and Neural Networks参考文献 25被引用 4

一句话总结

本文提出一种物理信息神经网络（PINN）框架，用于求解在扩散标度下的线性输运方程，该方程是传统数值方法难以处理的多尺度动力学方程。通过训练深度神经网络以满足PDE、初始/边界条件及物理约束，采用复合损失函数，该方法实现了对解析解的逐点收敛，且理论证明了当网络收敛时损失函数趋于零。

ABSTRACT

In this work, we propose a learning method for solving the linear transport equation under the diffusive scaling. Due to the multiscale nature of our model equation, the model is challenging to solve by using conventional methods. We employ the physical informed neural network (PINN) framework, a mesh-free learning method that can numerically solve partial differential equations. Compared to conventional methods (such as finite difference or finite element type), our proposed learning method is able to obtain the solution at any given points in the chosen domain accurately and efficiently, which enables us to better understand the physics underlying the model. In our framework, the solution is approximated by a neural network that satisfies both the governing equation and other constraints. The network is then trained with a combination of different loss terms. Using the approximation theory and energy estimates for kinetic models, we prove theoretically that the total loss vanishes as the neural network converges, upon which the neural network approximated solution converges pointwisely to the analytic solution of the linear transport model. Numerical experiments for two benchmark examples are conducted to verify the effectiveness and accuracy of our proposed method.

研究动机与目标

• 为解决线性输运方程在扩散标度下所呈现的多尺度特性带来的数值挑战。
• 开发一种无网格、数据驱动的方法，可在不离散化定义域的情况下，准确计算任意时空速度点的解。
• 理论上证明，当损失函数趋于零时，神经网络解逐点收敛至解析解。
• 在具有复杂初始与边界条件的基准问题上，验证该方法的精度与鲁棒性。
• 提供一种实用且易于实现的传统渐近保持格式的替代方案，避免对深层动力学理论知识的依赖。

提出的方法

• 通过将控制PDE、初始条件和边界条件直接嵌入损失函数，用深度神经网络近似解。
• 损失函数结合了PDE残差、初始条件残差和边界条件残差，并采用自适应权重以平衡相互竞争的损失项。
• 通过梯度下降法训练网络以最小化总损失，利用自动微分实现高效的反向传播。
• 理论分析基于动力学模型的逼近理论与能量估计，证明总损失趋于零意味着解逐点收敛至真实解。
• 采用权重平衡算法，通过动态调整损失项权重以稳定训练过程，依据梯度幅值进行调整。
• 将该方法应用于两个基准问题，以验证其在扩散标度下的精度与收敛性。

实验结果

研究问题

• RQ1 物理信息神经网络能否有效求解在扩散标度下的线性输运方程——一种刚性、多尺度的动力学PDE？
• RQ2 当总损失函数趋近于零时，PINN框架是否收敛至真实解析解？
• RQ3 与传统的有限差分或有限元方法相比，该方法在精度与效率方面表现如何？
• RQ4 该方法是否能在无需生成网格或截断定义域的情况下，处理复杂的初始与边界条件？
• RQ5 自适应损失加权对训练稳定性与收敛速度有何影响？

主要发现

• 通过动力学模型的逼近理论与能量估计，证明了PINN框架的总损失函数在神经网络收敛时趋于零。
• 当总损失趋近于零时，神经网络解逐点收敛至线性输运方程的解析解。
• 在两个基准问题上的数值实验表明，即使在具有挑战性的初始与边界条件下，方法仍保持高精度，且可在定义域内任意点提供解。
• 该方法为无网格方法，避免了传统方法在高维速度空间或具有非局部碰撞算子时的计算负担。
• 自适应权重平衡算法显著提升了训练稳定性与收敛性，数值结果已证实其有效性。
• 该方法在处理刚性问题与复杂几何结构方面优于传统方法，且无需专门的数值格式或对速度域进行截断。