[论文解读] How important are specialized transforms in Neural Operators?

Ritam Majumdar, Shirish Karande+1 more|arXiv (Cornell University)|Aug 18, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

该论文用可学习的线性层替代神经算子中的专用变换（如傅里叶变换和小波变换），证明了这些参数化的线性变换在纳维-斯托克斯方程和科莫戈罗夫流等PDE问题上可达到与最先进FNO和WNO模型相当的性能，同时由于采用实值参数化和参数量更少，训练时间更短、参数量更少。

ABSTRACT

Simulating physical systems using Partial Differential Equations (PDEs) has become an indispensible part of modern industrial process optimization. Traditionally, numerical solvers have been used to solve the associated PDEs, however recently Transform-based Neural Operators such as the Fourier Neural Operator and Wavelet Neural Operator have received a lot of attention for their potential to provide fast solutions for systems of PDEs. In this work, we investigate the importance of the transform layers to the reported success of transform based neural operators. In particular, we record the cost in terms of performance, if all the transform layers are replaced by learnable linear layers. Surprisingly, we observe that linear layers suffice to provide performance comparable to the best-known transform-based layers and seem to do so with a compute time advantage as well. We believe that this observation can have significant implications for future work on Neural Operators, and might point to other sources of efficiencies for these architectures.

研究动机与目标

• 探究专用变换（如傅里叶变换、小波变换）是否对基于变换的神经算子的成功至关重要。
• 评估在神经算子架构中，用可学习线性层替代固定变换后的性能与计算效率。
• 通过使网络自适应学习最优变换，减少在设计问题特定变换方面的人工投入。
• 评估在包含复杂动力学和非规则域的多种PDE上的泛化能力。

提出的方法

• 将FNO和WNO中的所有变换层替换为在实数域上运行的参数化可学习线性层。
• 使用标准优化方法在PDE解数据集上训练所得神经算子，包括纳维-斯托克斯方程、达西流和科莫戈罗夫流。
• 使用三线性插值进行超分辨率任务，以提升预测分辨率并评估在更高分辨率下的泛化能力。
• 通过L2误差和每轮训练时间，在多个PDE基准上比较模型性能。
• 通过分解FNO/WNO与可学习线性变换中每层模块的参数数量（M, R, N），分析参数量和训练效率。
• 在传统变换失效的复杂情形下评估泛化能力，如低粘性纳维-斯托克斯方程和非规则域达西流。

实验结果

研究问题

• RQ1 可学习线性层是否能在不牺牲PDE性能的前提下，替代神经算子中的傅里叶变换和小波变换等专用变换？
• RQ2 用可学习线性层替代固定变换是否能减少训练时间与参数量，同时保持或提升泛化能力？
• RQ3 与FNO和WNO相比，可学习线性变换在复杂PDE（如低粘性纳维-斯托克斯方程和科莫戈罗夫流）上的表现如何？
• RQ4 所学变换是否能在传统变换表现不佳的超分辨率设置和非规则域问题中实现泛化？
• RQ5 与预定义变换相比，使用可学习线性变换在性能、参数效率和计算成本之间的权衡如何？

主要发现

• 可学习线性变换在ν=1e−4的2D纳维-斯托克斯方程上达到与FNO和WNO相当的性能，误差分别为0.15和0.22，且在科莫戈罗夫流上与FNO的误差相差不到0.1。
• 该模型在所有测试的PDE上均优于WNO并匹配FNO性能，包括1D-Burgers方程、对流方程、2D-Darcy方程和3D-Navier-Stokes方程。
• 可学习线性变换的每轮训练时间显著更短（例如，在2D-Navier-Stokes上为67.41秒 vs. FNO的130秒），这是由于参数更少。
• 与FNO/WNO相比，可学习线性变换的参数量最多减少一半，因为其避免了张量乘法层中的复数域参数化。
• 该模型在超分辨率任务中泛化良好，从64×64上采样至256×256时，误差水平与FNO相当。
• 可学习变换在波-对流和非规则域达西流等挑战性问题中也表现出良好泛化能力，而传统基于傅里叶的方法在此类问题中失效。