[论文解读] FC-PINO: High Precision Physics-Informed Neural Operators via Fourier Continuation

Ganeshram, Adarsh, Haydn Maust+7 more|arXiv (Cornell University)|Nov 29, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出了FC-PINO，一种物理信息神经算子，利用傅里叶延拓（FC）实现非周期性问题中的精确导数计算，克服了标准PINO中存在的病态条件和吉布斯现象问题。通过仅在梯度计算前的最终层应用FC，FC-PINO将方程损失降低至数量级，准确捕捉了非光滑解的三阶导数，优于填充PINO和基线模型。

ABSTRACT

The physics-informed neural operator (PINO) is a machine learning paradigm that has demonstrated promising results for learning solutions to partial differential equations (PDEs). It leverages the Fourier Neural Operator to learn solution operators in function spaces and leverages physics losses during training to penalize deviations from known physics laws. Spectral differentiation provides an efficient way to compute derivatives for the physics losses, but it inherently assumes periodicity. When applied to non-periodic functions, this assumption can lead to significant errors, including Gibbs phenomena near domain boundaries which degrade the accuracy of both function representations and derivative computations. To overcome this limitation, we introduce the FC-PINO (Fourier-Continuation-based Physics-Informed Neural Operator) architecture which extends the accuracy and efficiency of PINO and spectral differentiation to non-periodic and non-smooth PDEs. In FC-PINO, we propose integrating Fourier continuation into the PINO framework, and test two different continuation approaches: FC-Legendre and FC-Gram. By transforming non-periodic signals into periodic functions on extended domains in a well-conditioned manner, Fourier continuation enables fast and accurate derivative computations. This approach avoids the discretization sensitivity of finite differences and the memory overhead of automatic differentiation. We demonstrate that standard PINO fails (without padding) or struggles (even with padding) to solve non-periodic and non-smooth PDEs with high precision, across challenging benchmarks. In contrast, the proposed FC-PINO provides accurate, robust, and scalable solutions, substantially outperforming PINO alternatives, and demonstrating that Fourier continuation is critical for extending PINO to a wider range of PDE problems when high-precision solutions are needed.

研究动机与目标

• 解决将物理信息神经算子（PINO）应用于非周期性偏微分方程（PDE）时出现的病态条件和吉布斯现象问题。
• 通过用傅里叶延拓（FC）替代标准傅里叶级数，实现在非周期性问题中PINO的精确梯度计算。
• 研究FC在PINO架构中最佳的集成策略，以保持数值精度和优化稳定性。
• 证明FC-PINO能够准确学习并区分非光滑解函数，包括高阶导数中具有尖点行为的解。

提出的方法

• 引入傅里叶延拓（FC）作为将非周期函数扩展至扩展区间上的周期域的方法，利用低阶多项式实现稳定且精确的傅里叶表示。
• 提出三种架构：仅在网络末端应用FC、在每一傅里叶层中应用FC，以及在开头应用FC并进行截断；在1D爆破问题上评估其性能。
• 通过将模型输出投影到傅里叶级数中，在傅里叶空间中实现精确梯度计算，但仅在最后一步应用FC，以避免部分观测优化带来的病态条件问题。
• 采用改进的损失函数，包含PDE残差和边界条件项，导数通过在FC扩展域上使用FFT和IFFT计算。
• 引入两项增强：增加傅里叶模态数量以捕捉如解尖点等高频特征，以及施加线性调整以强制实现零阶周期性。
• 使用标准优化方法（Adam）进行训练，监控自相似Burgers方程在不同参数下的方程损失和导数精度。

实验结果

研究问题

• RQ1 傅里叶延拓能否有效集成到PINO中，实现在非周期性PDE解上的精确导数计算，同时避免引入病态条件？
• RQ2 傅里叶延拓的位置（末端与中间层）如何影响PINO中的优化稳定性和解的精度？
• RQ3 FC-PINO在学习具有高阶导数的非周期性、非光滑解方面是否显著优于填充PINO和标准PINO？
• RQ4 为何仅在神经网络末端应用FC的模型相比在中间层应用FC的模型表现更优？
• RQ5 FC-PINO能否准确捕捉具有尖点的解的三阶导数，例如自相似Burgers方程中的情况？

主要发现

• 仅在最终层应用傅里叶延拓的FC-PINO在λ = 0.4和λ = 0.5时分别实现了10⁻⁸.⁷和10⁻⁸.¹的方程损失，相比基线模型有数个数量级的改进。
• 仅在末端应用FC的模型避免了部分观测优化问题，与中间层应用FC的模型相比，振荡更小，收敛性更优。
• FC-PINO成功捕捉了解的三阶导数，包括爆破点处的尖锐尖点，而标准PINO和填充PINO无法准确表示该特征。
• 在中间层使用FC的模型因在部分观测域上进行优化而遭受病态条件影响，导致边界附近出现振荡行为，损失更高。
• 增加更高阶傅里叶模态以及施加线性调整以强制实现零阶周期性，进一步提升了训练稳定性和解的精度。