[论文解读] Group Equivariant Fourier Neural Operators for Partial Differential Equations

Jacob Helwig, Xuan Zhang+4 more|arXiv (Cornell University)|Jun 9, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了群等变傅里叶神经算子（G-FNO），通过利用傅里叶变换的对称性特性，将傅里叶神经算子扩展为对旋转、平移和反射具有等变性的模型。该方法在不同分辨率间实现了更优的泛化性能，并在偏微分方程（PDE）求解中表现出色——即使在对称性不完美时亦然，测试误差较基线FNO降低最多达3.5%，并在超分辨率和旋转不变性方面持续取得性能提升。

ABSTRACT

We consider solving partial differential equations (PDEs) with Fourier neural operators (FNOs), which operate in the frequency domain. Since the laws of physics do not depend on the coordinate system used to describe them, it is desirable to encode such symmetries in the neural operator architecture for better performance and easier learning. While encoding symmetries in the physical domain using group theory has been studied extensively, how to capture symmetries in the frequency domain is under-explored. In this work, we extend group convolutions to the frequency domain and design Fourier layers that are equivariant to rotations, translations, and reflections by leveraging the equivariance property of the Fourier transform. The resulting $G$-FNO architecture generalizes well across input resolutions and performs well in settings with varying levels of symmetry. Our code is publicly available as part of the AIRS library (https://github.com/divelab/AIRS).

研究动机与目标

• 为解决标准傅里叶神经算子（FNO）在跨输入分辨率泛化方面的局限性，以及捕捉物理对称性的问题。
• 将群等变卷积扩展至频域，使旋转、反射和平移等对称性能够显式编码于傅里叶域中。
• 提升模型在具有不同程度对称性的PDE上的泛化能力、样本效率和性能表现，包括那些缺乏全局对称性的PDE。
• 通过内在的等变性，实现零样本超分辨率以及对几何变换（如旋转）的鲁棒性。
• 证明频域中的等变性可带来优于仅使用数据增强或局部归纳偏置的泛化性能。

提出的方法

• 利用傅里叶变换在空间群作用（旋转、反射、平移）下的等变性，设计保持对称性的频域层。
• 通过在频域参数化可学习的卷积核，将群卷积理论扩展至傅里叶域，同时保持对欧几里得群E(2)和E(3)的等变性。
• 构建G-傅里叶层，通过学习的谱滤波器执行全局卷积，实现在所有空间频率上的高效多尺度处理。
• 利用傅里叶变换在群表示上的作用的分解，确保网络内部表征在对称操作下可预测地变换。
• 采用受对称群作用约束的可学习谱核，确保输入变换在输出中通过相同变换被准确反映。
• 将G-傅里叶层集成至类似U-Net的架构中，支持使用标准反向传播进行端到端训练，并通过FFT实现快速推理。

实验结果

研究问题

• RQ1 能否在傅里叶神经算子中有效将群等变性从空间域扩展至频域？
• RQ2 在频域中显式引入对称性不变性是否能提升跨输入分辨率的泛化能力并降低样本复杂度？
• RQ3 G-FNO在具有非完美或破坏的全局对称性（如无径向对称性的纳维-斯托克斯方程）的PDE上表现如何？
• RQ4 G-FNO在零样本超分辨率和几何变换鲁棒性方面，相较于标准FNO和数据增强基线模型，优势有多大？
• RQ5 G-傅里叶层能否推广至3D PDE和非正方形域（如不规则域上的浅水方程）？

主要发现

• 在纳维-斯托克斯方程和浅水方程的所有2D与3D设置中，G-FNO在测试滚动误差上均达到最低，相较于基线FNO在NS数据集上误差降低超过3.5%。
• 在NS-sym数据集上，G-FNO在4种设置中的3种实现了最低的超分辨率误差，且在2D模型中优于基于插值的精细化方法。
• 在测试输入进行90°逆时针旋转时，G-FNO保持一致性能，误差未上升——证明了真正的等变性，而数据增强模型则不具备此特性。
• 即使在NS数据集中缺乏全局对称性的情况下，G-FNO相较基线FNO仍实现超过2%的泛化性能提升，表明局部对称性归纳偏置具有实际益处。
• 在3D浅水方程设置中，尽管基线误差较高（>40%），G-FNO仍位列第二，表明其对粗粒度时间离散化和非光滑动力学具有鲁棒性。
• radialFNO在SWE-sym上表现最佳，因其径向核与径向解对齐；但G-FNO在非径向情形下泛化能力更优，凸显了群等变性的更广泛应用价值。