[论文解读] Lie Point Symmetry Data Augmentation for Neural PDE Solvers

J. Brandstetter, Max Welling+1 more|arXiv (Cornell University)|Feb 15, 2022

Model Reduction and Neural Networks被引用 9

一句话总结

本文提出李点对称数据增强（LPSDA），一种基于数学原理的方法，利用偏微分方程（PDE）的李点对称性，生成有效且保持解结构的数据变换，用于训练神经PDE求解器。通过系统性地应用这些对称性，LPSDA在多个PDE上将样本效率提升了一个数量级以上，显著降低了泛化误差，且仅需极少的网络架构修改。

ABSTRACT

Neural networks are increasingly being used to solve partial differential equations (PDEs), replacing slower numerical solvers. However, a critical issue is that neural PDE solvers require high-quality ground truth data, which usually must come from the very solvers they are designed to replace. Thus, we are presented with a proverbial chicken-and-egg problem. In this paper, we present a method, which can partially alleviate this problem, by improving neural PDE solver sample complexity -- Lie point symmetry data augmentation (LPSDA). In the context of PDEs, it turns out that we are able to quantitatively derive an exhaustive list of data transformations, based on the Lie point symmetry group of the PDEs in question, something not possible in other application areas. We present this framework and demonstrate how it can easily be deployed to improve neural PDE solver sample complexity by an order of magnitude.

研究动机与目标

• 为解决训练神经PDE求解器时的‘先有鸡还是先有蛋’问题，即高质量真实数据依赖于昂贵的经典求解器。
• 通过利用李点对称性导出的所有解保持变换，提升神经PDE求解器的样本复杂度。
• 为PDE学习中的数据增强提供系统性、数学严谨的框架，替代基于直觉的启发式方法。
• 通过实证验证单个对称性的影响，并评估经典求解器与学习到的求解器的等变性特性。
• 证明基于对称性的数据增强可实现更快、更稳定的训练，并提升泛化能力，且无需修改网络架构。

提出的方法

• 该方法利用延拓理论与对称群分析，推导给定PDE的所有李点对称性，从而获得完整且详尽的允许数据变换列表。
• 每个对称性均用于通过变换输入条件（如空间平移、时间平移、缩放）生成增强的训练数据，同时保持解的结构不变。
• 使用增强后的数据，通过标准损失函数训练神经求解器，且不修改网络架构。
• 该框架应用于演化型PDE，包括Korteweg-de Vries方程、Kuramoto–Shivashinsky方程和Burgers方程，定义在周期性域上。
• 通过评估其输出在对称操作下的变换行为，测量经典求解器与神经求解器的等变性。
• 消融研究分离单个对称性对模型性能的贡献，量化其对样本效率的影响。

实验结果

研究问题

• RQ1 能否系统性地利用PDE的李点对称性，为神经PDE求解器生成有效且保持解结构的数据增强？
• RQ2 基于对称性的数据增强在多大程度上能降低不同PDE及不同训练设置下的样本复杂度？
• RQ3 单个对称性如何促进模型泛化？哪些对称性影响最大？
• RQ4 经典求解器与神经求解器在对称变换下的内在等变性有何差异？
• RQ5 基于对称性的数据增强是否能优于标准数据增强，提升训练稳定性与速度？

主要发现

• LPSDA在三个基准PDE（KdV、Kuramoto–Shivashinsky和Burgers方程）上，使神经PDE求解器的泛化误差降低一个数量级以上。
• 该方法显著提升了样本复杂度，使高精度训练仅需由经典求解器生成的极少真实数据。
• 消融研究显示，空间与时间平移、缩放以及伽利略变换等对称性均对泛化有显著贡献，且具有累积效应。
• 经典求解器在对称变换下表现出可测量的等变性误差，而使用LPSDA增强数据训练后，该误差被显著降低或完全消除。
• 采用LPSDA训练的神经求解器在推理速度和稳定性方面优于或相当经典求解器，同时保持甚至超越其精度。
• 该框架可推广至其他PDE，且可扩展以包含广义对称性、离散对称性及变分结构。