[论文解读] Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs

Robert Joseph George, Jiawei Zhao+3 more|arXiv (Cornell University)|Nov 28, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出增量傅里叶神经算子（IFNO），一种在训练过程中动态增加频率模态数量的方法，以自动适应频谱容量。在少数据条件下，IFNO在雷诺数高达5000的科莫戈罗夫流任务中，测试损失降低超过10%，频率模态数量减少20%，通过自适应频谱正则化提升了泛化能力和效率。

ABSTRACT

Fourier Neural Operators (FNO) offer a principled approach to solving challenging partial differential equations (PDE) such as turbulent flows. At the core of FNO is a spectral layer that leverages a discretization-convergent representation in the Fourier domain, and learns weights over a fixed set of frequencies. However, training FNO presents two significant challenges, particularly in large-scale, high-resolution applications: (i) Computing Fourier transform on high-resolution inputs is computationally intensive but necessary since fine-scale details are needed for solving many PDEs, such as fluid flows, (ii) selecting the relevant set of frequencies in the spectral layers is challenging, and too many modes can lead to overfitting, while too few can lead to underfitting. To address these issues, we introduce the Incremental Fourier Neural Operator (iFNO), which progressively increases both the number of frequency modes used by the model as well as the resolution of the training data. We empirically show that iFNO reduces total training time while maintaining or improving generalization performance across various datasets. Our method demonstrates a 10% lower testing error, using 20% fewer frequency modes compared to the existing Fourier Neural Operator, while also achieving a 30% faster training.

研究动机与目标

• 为解决傅里叶神经算子（FNO）中手动选择最优频率截断阈值所带来的欠拟合或过拟合问题。
• 在标准FNO因固定频谱容量而在低数据场景下表现不佳时，提升其泛化性能。
• 通过最小化频率模态数量，在保持或提升性能的同时降低计算成本和模型复杂度。
• 开发一种动态频谱正则化机制，使其能根据训练过程中的数据驱动频谱内容自适应调整。

提出的方法

• IFNO基于频谱解释率指标，在训练过程中通过提高截断阈值来逐步增加频率模态数量。
• 解释率量化了当前频率模态集合所捕获的频谱能量比例，用于指导何时添加新的模态。
• 当解释率低于预设值α时，基于阈值的准则将触发添加一批新的高频模态。
• 该方法在FNO框架内运行，仅修改频率截断策略，同时保留傅里叶卷积和非线性变换组件。
• 动态模态增广在训练期间完成，无需重新训练或架构重构，从而实现对数据复杂度的高效适应。
• 该方法通过直接测量频域中的频谱能量保留率，避免了昂贵的特征分解计算。

实验结果

研究问题

• RQ1 在训练过程中动态增加频率模态数量，能否提升FNO求解PDE时的泛化能力？
• RQ2 通过逐步增加模态实现的自适应频谱正则化，能否在不牺牲性能的前提下减少所需频率模态数量？
• RQ3 在少数据条件下，IFNO与标准FNO相比，在测试损失和参数效率方面表现如何？
• RQ4 IFNO能否在无需预先调参的情况下自动确定最优频率模态数量？

主要发现

• 在雷诺数高达5000的科莫戈罗夫流任务中，IFNO在少数据场景下相比标准FNO将测试损失降低了超过10%。
• IFNO使用的频率模态数量比标准FNO减少20%，同时实现了更好的泛化性能，表明其参数效率更高。
• 在多个数据集上，最终训练的IFNO模型所需的频率模态数量始终少于表现最佳的FNO基线模型，证实其能够自动找到最优频谱容量。
• 尽管训练损失存在波动，IFNO仍表现出更好的泛化能力，证明其通过动态频谱正则化实现了更强的鲁棒性和改进的归纳偏置。
• IFNO中的频率模态数量在训练过程中逐步增加，最终模型以极低的频谱容量实现了高性能。