[论文解读] Hierarchical Learning to Solve Partial Differential Equations Using Physics-Informed Neural Networks

Jihun Han, Yoonsang Lee|arXiv (Cornell University)|Dec 2, 2021

Model Reduction and Neural Networks参考文献 24被引用 5

一句话总结

本文提出了一种分层物理信息神经网络（PINN）框架，通过训练一系列后续网络来校正前序层级的残差，从而在求解多尺度偏微分方程（PDEs）时提升收敛速度与精度。利用神经网络对低频分量的偏好，每一级后续网络专注于捕捉更高频特征，显著降低误差，并在具有挑战性的线性和非线性PDE上加速收敛。

ABSTRACT

The neural network-based approach to solving partial differential equations has attracted considerable attention due to its simplicity and flexibility in representing the solution of the partial differential equation. In training a neural network, the network learns global features corresponding to low-frequency components while high-frequency components are approximated at a much slower rate. For a class of equations in which the solution contains a wide range of scales, the network training process can suffer from slow convergence and low accuracy due to its inability to capture the high-frequency components. In this work, we propose a hierarchical approach to improve the convergence rate and accuracy of the neural network solution to partial differential equations. The proposed method comprises multi-training levels in which a newly introduced neural network is guided to learn the residual of the previous level approximation. By the nature of neural networks' training process, the high-level correction is inclined to capture the high-frequency components. We validate the efficiency and robustness of the proposed hierarchical approach through a suite of linear and nonlinear partial differential equations.

研究动机与目标

• 解决标准PINN在求解跨越多个尺度的PDE时收敛缓慢且精度低下的问题。
• 克服神经网络固有的先学习低频分量的倾向，该倾向阻碍了高频分量的解析。
• 开发一种可扩展的多层级训练策略，在不增加每层级网络复杂度的前提下，提升多尺度解的逼近能力。
• 在一系列线性和非线性PDE上展示鲁棒性与高效性，包括具有复杂速度场的对流-扩散方程。
• 通过模块化、尺度感知的网络设计，为将分层学习扩展至时变和高维PDE奠定基础。

提出的方法

• 引入一种分层训练流程，其中每一级后续神经网络学习前一级近似的残差。
• 使用基于PDE残差、边界条件和弱形式的损失函数，训练每一级的物理信息神经网络（PINNs）。
• 应用傅里叶特征嵌入，显式控制网络被训练以捕捉的特征频率尺度。
• 首先训练第一级网络以近似解的主要低频分量，随后训练后续网络以校正残差误差。
• 在前一级训练固定迭代次数后启动更高级别的训练，从而实现对高频特征的渐进式精细化。
• 采用两级分层结构：第一级使用较低频嵌入（σ=2），第二级使用较高频嵌入（σ=5），按顺序应用。

实验结果

研究问题

• RQ1 分层训练策略是否能提升PINN在多尺度PDE求解中的收敛速率与精度？
• RQ2 在多个网络层级上按顺序进行残差校正，与单网络PINN训练相比，在捕捉解的高频分量方面表现如何？
• RQ3 傅里叶特征嵌入在多大程度上增强了每一级网络针对解中特定频带的捕捉能力？
• RQ4 该分层方法在涵盖复杂多尺度结构的多种线性和非线性PDE上是否保持鲁棒性？
• RQ5 通过适配残差校正机制，该分层框架能否扩展至时变或高维PDE？

主要发现

• 与标准PINN训练相比，该分层方法在具有多尺度速度场的稳态对流-扩散方程上，将相对L²误差降低了高达70%。
• 该方法实现了更快的收敛速度，所有分量（内部、狄利克雷、诺伊曼）的训练损失下降速度均快于单层级训练。
• 采用分层训练的傅里叶特征嵌入网络产生的点对点误差显著更低且分布更均匀，优于标准单嵌入PINN。
• 第一级网络成功捕捉了低频分量，而第二级网络则专注于高频校正，这一结果通过残差目标函数的可视化分析得到验证。
• 与使用多个傅里叶嵌入（σ=2,5）的标准PINN相比，该方法在精度和收敛速度上均表现更优。
• 该方法在多个测试案例中表现出鲁棒性，包括非线性PDE，表明其适用范围远超线性椭圆问题。