[论文解读] Factorized Fourier Neural Operators

Alasdair Tran, Alexander Patrick Mathews+2 more|arXiv (Cornell University)|Nov 27, 2021

Model Reduction and Neural Networks参考文献 10被引用 9

一句话总结

本文提出了因子分解傅里叶神经算子（F-FNO），一种深度学习框架，通过采用可分离的谱层和激活后的残差连接，提升了求解偏微分方程（PDEs）的神经算子性能。其在纳维-斯托克斯方程问题上将误差降低高达83%，在塑性锻造问题上降低60%，同时实现更深的网络结构，并将时间步长扩大10倍，优于伪谱方法，且在结构化网格和点云上展现出显著的速度提升与鲁棒性。

ABSTRACT

We propose the Factorized Fourier Neural Operator (F-FNO), a learning-based approach for simulating partial differential equations (PDEs). Starting from a recently proposed Fourier representation of flow fields, the F-FNO bridges the performance gap between pure machine learning approaches to that of the best numerical or hybrid solvers. This is achieved with new representations - separable spectral layers and improved residual connections - and a combination of training strategies such as the Markov assumption, Gaussian noise, and cosine learning rate decay. On several challenging benchmark PDEs on regular grids, structured meshes, and point clouds, the F-FNO can scale to deeper networks and outperform both the FNO and the geo-FNO, reducing the error by 83% on the Navier-Stokes problem, 31% on the elasticity problem, 57% on the airfoil flow problem, and 60% on the plastic forging problem. Compared to the state-of-the-art pseudo-spectral method, the F-FNO can take a step size that is an order of magnitude larger in time and achieve an order of magnitude speedup to produce the same solution quality.

研究动机与目标

• 解决现有神经算子（如FNO、geo-FNO）在增加网络深度或处理复杂几何时的不稳定性与性能差的问题。
• 弥合纯机器学习求解器与传统数值方法在多样化领域和网格上的PDE求解性能差距。
• 实现可扩展的深层神经算子，能够在不同PDE类型和几何结构（规则网格、结构化网格、点云）上泛化，同时提升泛化能力与稳定性。
• 通过采用马尔可夫假设、高斯噪声和余弦学习率衰减等先进策略，改善训练动态，提升收敛性与鲁棒性。

提出的方法

• 通过傅里叶分解引入可分离谱层，将二维傅里叶变换分解为独立的一维变换，使模型复杂度降低一个数量级。
• 在激活函数后引入残差连接，以稳定训练过程，并支持更深的网络架构（最高达24层）而不会发散。
• 采用多阶段训练设置，包括教师强制、马尔可夫假设强制、输入高斯噪声注入以及余弦学习率衰减，以提升泛化能力。
• 对空间坐标实施双重编码——原始（x,y）位置编码与通过傅里叶特征实现的隐式位置编码——以增强不同网络组件中的模型表达能力。
• 在包括纳维-斯托克斯方程、弹性力学、机翼流场和塑性锻造在内的多样化PDE数据集上进行端到端训练，涵盖规则网格与非规则点云。
• 利用傅里叶域建模长程空间依赖性，同时通过结构化的谱操作保持空间不变性与平移等变性。

实验结果

研究问题

• RQ1 在神经算子中采用因子分解傅里叶表示，是否能提升复杂PDE问题上深层架构的泛化性与可扩展性？
• RQ2 改进的残差连接（激活后）与训练策略如何影响深层神经算子的收敛性与性能？
• RQ3 F-FNO在非规则几何（如点云与结构化网格）上的表现，相较于原始FNO与geo-FNO，能提升多少？
• RQ4 傅里叶分解是否能在高维PDE（如三维塑性锻造）中实现稳定训练与性能提升，且仅使用极少参数？
• RQ5 输入特征（如外力、粘性系数与坐标编码）在F-FNO框架中如何影响预测精度与鲁棒性？

主要发现

• 与原始FNO相比，F-FNO在纳维-斯托克斯方程（科莫戈罗夫流）问题上将预测误差降低了83%，在环面上实现了更优的精度。
• 在机翼流场问题上，F-FNO相比geo-FNO将误差降低了57%，展现出在复杂几何上跨音速流场的强劲性能。
• 在三维塑性锻造问题上，参数量为1100万的24层F-FNO，其误差（0.45% → 0.18%）相比参数量达5700万的12层geo-FNO降低了60%。
• F-FNO在24层深度下仍能保持训练稳定与性能增益，而geo-FNO在机翼与塑性问题上超过12层后即无法收敛。
• 通过使用10倍更大的时间步长，F-FNO在不牺牲解质量的前提下，相较当前最先进的伪谱方法实现了数量级的速度提升。
• 输入特征（如外力与粘性系数）至关重要：若移除这些特征，误差最高可增加一个数量级，证实了模型对物理输入的依赖性以实现准确预测。