[论文解读] A practical PINN framework for multi-scale problems with multi-magnitude loss terms

Yong Wang, Yanzhong Yao+2 more|arXiv (Cornell University)|Aug 13, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了一种实用的PINN框架MMPINN，通过引入分组正则化策略来平衡不同量级的损失项，并整合了如傅里叶特征网络等专用神经架构，以解决多尺度问题。该方法显著提升了传统PINN在预测精度和收敛速度方面的表现，尤其在高频和多尺度PDE问题上表现优越，在基准测试中展现出明显优势。

ABSTRACT

For multi-scale problems, the conventional physics-informed neural networks (PINNs) face some challenges in obtaining available predictions. In this paper, based on PINNs, we propose a practical deep learning framework for multi-scale problems by reconstructing the loss function and associating it with special neural network architectures. New PINN methods derived from the improved PINN framework differ from the conventional PINN method mainly in two aspects. First, the new methods use a novel loss function by modifying the standard loss function through a (grouping) regularization strategy. The regularization strategy implements a different power operation on each loss term so that all loss terms composing the loss function are of approximately the same order of magnitude, which makes all loss terms be optimized synchronously during the optimization process. Second, for the multi-frequency or high-frequency problems, in addition to using the modified loss function, new methods upgrade the neural network architecture from the common fully-connected neural network to special network architectures such as the Fourier feature architecture, and the integrated architecture developed by us. The combination of the above two techniques leads to a significant improvement in the computational accuracy of multi-scale problems. Several challenging numerical examples demonstrate the effectiveness of the proposed methods. The proposed methods not only significantly outperform the conventional PINN method in terms of computational efficiency and computational accuracy, but also compare favorably with the state-of-the-art methods in the recent literature. The improved PINN framework facilitates better application of PINNs to multi-scale problems.

研究动机与目标

• 解决传统PINN在多尺度问题中因监督损失项与残差损失项间量级差异过大而导致的性能不佳问题。
• 克服标准全连接网络在求解高频或多频问题时存在的谱偏差与梯度流动问题。
• 开发一种统一且实用的深度学习框架，提升多种多尺度PDE问题的求解精度与收敛速度。
• 实现在具有不同解特征（如陡峭梯度或振荡行为）的领域中训练的鲁棒性与稳定性。
• 提供一种可泛化的方案，在具有挑战性的多尺度基准测试中优于现有PINN变体与最先进方法。

提出的方法

• 提出一种新型损失函数，采用分组正则化策略，对每个损失项应用不同的幂运算，确保优化过程中各项损失量级相当。
• 将该正则化策略同时应用于全局损失项与子域特定的残差项，实现在具有不同解特征区域间的平衡优化。
• 用专用架构替代标准全连接网络：傅里叶特征网络（MFF）与新提出的集成神经网络（INN），以缓解谱偏差。
• 通过将MFF与残差连接及归一化层结合，设计INN架构，以改善梯度流动并提升高频函数的逼近能力。
• 采用两阶段优化策略：先使用Adam实现全局收敛，再使用L-BFGS进行微调，提升训练稳定性和效率。
• 通过正则化策略实现损失分量的自动平衡，消除对人工超参数调优的需求。

实验结果

研究问题

• RQ1 如何有效缓解PINN中监督损失项与残差损失项之间的巨大量级差异，以提升训练稳定性和精度？
• RQ2 是否可通过一种分组正则化策略，对损失项应用不同的幂运算，实现更均衡的优化，并在多尺度领域中获得更好的泛化能力？
• RQ3 专用神经网络架构（如MFF与INN）在多尺度PINN中对高频或多频解的表征能力可提升到何种程度？
• RQ4 损失函数正则化与先进网络架构的结合，相较于传统方法，如何整体提升PINN在多尺度PDE问题上的性能？
• RQ5 所提出的MMPINN框架是否能在基准多尺度问题上实现优于最先进PINN变体的精度与更快的收敛速度？

主要发现

• MMPINN-DNN-GRS方法的相对$L_2$误差为$7.53 \pm 1.64 \times 10^{-4}$，显著优于传统PINN（$1.12 \pm 0.10 \times 10^{0}$）以及使用$10^6$次Adam迭代的PINN（$4.51 \pm 2.81 \times 10^{-2}$）。
• MMPINN-DNN-GRS方法在约4000次迭代内完成收敛，而MMPINN-DNN则接近10000次迭代，表明计算效率显著提升。
• 损失变化曲线显示，MMPINN-DNN-GRS实现了所有子域中损失项的同步下降，而MMPINN-DNN未能有效优化小量级残差项。
• 该方法成功缓解了PDE残差在优化中的主导作用，降低了对高量级项的偏差，改善了对低量级监督数据的拟合。
• INN架构有效减少了谱偏差并改善了梯度流动，实现了对多尺度解中高频分量的精确逼近。
• 所提出的框架在具有挑战性的多尺度PDE问题上达到了最先进性能，无论在精度还是收敛速度方面，均优于传统PINN与近期先进方法。