[论文解读] Fourier Neural Operator for Parametric Partial Differential Equations

Zongyi Li, Nikola Kovachki+5 more|arXiv (Cornell University)|Oct 18, 2020

Model Reduction and Neural Networks参考文献 32被引用 1,078

一句话总结

本文介绍了 Fourier Neural Operator (FNO)，一种网格不变的神经算子，通过在傅里叶空间参数化核来学习函数空间之间的映射，在对 Burgers、Darcy 和 Navier–Stokes 等偏微分方程（PDE）实现快速、零样本超分辨率。

ABSTRACT

The classical development of neural networks has primarily focused on learning mappings between finite-dimensional Euclidean spaces. Recently, this has been generalized to neural operators that learn mappings between function spaces. For partial differential equations (PDEs), neural operators directly learn the mapping from any functional parametric dependence to the solution. Thus, they learn an entire family of PDEs, in contrast to classical methods which solve one instance of the equation. In this work, we formulate a new neural operator by parameterizing the integral kernel directly in Fourier space, allowing for an expressive and efficient architecture. We perform experiments on Burgers' equation, Darcy flow, and Navier-Stokes equation. The Fourier neural operator is the first ML-based method to successfully model turbulent flows with zero-shot super-resolution. It is up to three orders of magnitude faster compared to traditional PDE solvers. Additionally, it achieves superior accuracy compared to previous learning-based solvers under fixed resolution.

研究动机与目标

• 开发一种将从函数空间到函数空间的神经算子框架，用于参数化 PDEs。
• 通过在傅里叶空间参数化核来实现网格不变性和零样本超分辨率。
• 在多种 PDEs 上展示相较传统求解器和先前学习方法的速度提升与精度提升。
• 展示对时变和定常 PDEs 的适用性，并讨论数据需求与局限性。

提出的方法

• 定义一个迭代式神经算子架构，其中 v_{t+1}(x) = σ(W v_t(x) + (K(a; φ) v_t)(x))。
• 用傅里叶空间卷积算子替代核积分算子，以通过 FFT 实现高效计算。
• 通过其傅里叶变换 R_φ 对傅里叶核 κ_φ 进行参数化，并截断到 k_max 模以实现可处理的学习。
• 使用四个傅里叶积分算子层，配合 ReLU 激活和批标准化，形成 FNO。
• 通过在低分辨率数据上训练并在更高分辨率网格上评估，演示离散化不变性和零样本超分辨率。

实验结果

研究问题

• RQ1 神经算子是否能够在输入函数到输出函数的设置下学习参数化 PDE 的解算子？
• RQ2 在傅里叶空间参数化核是否能够在不同 PDE 和分辨率下实现网格不变、快速且准确的算子？
• RQ3 Fourier neural operator 是否能够实现零样本超分辨率并在 Burgers’、Darcy 和 Navier–Stokes 方程上超越现有的神经算子和基线？
• RQ4 训练 FNO 对于复杂 PDE 的数据需求与权衡是什么，它们在贝叶斯逆问题中的表现如何？

主要发现

• Fourier 神经算子在湍流极限下学习了 Burgers’、Darcy 与 Navier–Stokes 的分辨率不变解算子。
• FNO 实现零样本超分辨率，可以在训练时未见的更高分辨率下进行评估。
• 在固定分辨率下，FNO 相较基准在 Burgers’ 的相对误差约低30%、在 Darcy 约低60%、在 Navier–Stokes 约低30%。
• 在256×256网格上，FNO 推理时间为 0.005 s，而伪谱求解器为 2.2 s，在后续任务如贝叶斯推断中没有精度损失。
• FNO-3D（时空卷积）在数据充足时往往提供最佳性能；FNO–2D 变体在数据有限时仍优于若干基线。
• 该模型在非周期边界下仍然有效，并且可以通过层间的激活恢复高频内容。