[论文解读] Lie Point Symmetry and Physics Informed Networks

Tara Akhound-Sadegh, Laurence Perreault-Levasseur+3 more|arXiv (Cornell University)|Nov 7, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了一种对称性感知的损失函数，将李点对称性整合到物理信息神经网络（PINNs）中，以提升样本效率和泛化能力。通过强制使无穷小对称生成元保持PDE解不变，该方法显著提升了PINN的性能，尤其在复杂非线性PDE（如Burgers方程）上表现突出，实证结果表明误差显著降低，长期预测能力得到改善。

ABSTRACT

Symmetries have been leveraged to improve the generalization of neural networks through different mechanisms from data augmentation to equivariant architectures. However, despite their potential, their integration into neural solvers for partial differential equations (PDEs) remains largely unexplored. We explore the integration of PDE symmetries, known as Lie point symmetries, in a major family of neural solvers known as physics-informed neural networks (PINNs). We propose a loss function that informs the network about Lie point symmetries in the same way that PINN models try to enforce the underlying PDE through a loss function. Intuitively, our symmetry loss ensures that the infinitesimal generators of the Lie group conserve the PDE solutions. Effectively, this means that once the network learns a solution, it also learns the neighbouring solutions generated by Lie point symmetries. Empirical evaluations indicate that the inductive bias introduced by the Lie point symmetries of the PDEs greatly boosts the sample efficiency of PINNs.

研究动机与目标

• 为解决PINNs在求解偏微分方程（PDEs）时泛化能力有限和样本效率低下的问题。
• 探索将已知可保持PDE解不变的李点对称性作为归纳偏置，整合到PINN框架中。
• 开发一种基于自动微分的可微方法，直接在PINN损失函数中施加对称性约束。
• 证明对称性正则化可提升泛化能力，尤其在长期预测和非线性PDE（如Burgers方程）中表现更优。

提出的方法

• 通过自动微分将李群的无穷小生成元延长作用于偏导数，构建对称性损失。
• 对每个李群的无穷小生成元，计算对称向量场与PDE残差之间的正交性条件，以强制解在对称变换下保持不变。
• 将对称性损失作为惩罚项加入标准PINN损失中，该损失包含PDE残差、初始条件和边界条件项。
• 对称性损失与PDE损失在相同的配点上施加，实现联合优化。
• 仅选择非与PDE残差成比例的有用对称性，以避免冗余，提升训练信号质量。
• 该方法应用于热方程和Burgers方程，通过改变残差点和对称点的数量，评估样本效率。

实验结果

研究问题

• RQ1 李点对称性能否作为正则化机制有效整合到PINNs中，以提升泛化能力和样本效率？
• RQ2 与标准PINN损失相比，基于对称性的损失在不同PDE上的预测精度和鲁棒性如何？
• RQ3 哪些李点对称性对训练信号有实质性贡献？如何自动识别并施加这些对称性？
• RQ4 对称性正则化是否特别提升长期预测或形成激波的PDE（如Burgers方程）的性能？
• RQ5 对称性损失能否替代或减少对大规模残差点集的依赖，尤其在精确模拟成本高昂的情况下？

主要发现

• 引入李点对称性损失显著提升了PINNs的样本效率，在训练数据有限时仍能显著降低测试误差。
• 对于Burgers方程，加入对称性损失的模型在较大时间步长下（激波形成使复杂度增加）的均方误差低于基线模型。
• 对称性损失改善了长期预测性能，图3中可见，对称性正则化模型更准确地捕捉了激波特性的演化。
• 仅部分对称性（如Burgers方程中的v₅）提供了有效的训练信号，其余对称性则冗余或等价于PDE损失。
• 当增加残差点数量时，该方法在性能上与标准PINNs相当或更优，表明对称性正则化是数据增强的高效替代方案。
• 在Burgers方程实验中，余弦相似度比L2更有效衡量对称性损失，表明损失函数的构造对结果敏感。