[论文解读] Fourier-RNNs for Modelling Noisy Physics Data

Vignesh Gopakumar, S. Pamela+1 more|arXiv (Cornell University)|Feb 13, 2023

Neural Networks and Applications被引用 5

一句话总结

本文提出了一种新型循环神经网络——傅里叶-RNN（F-RNN），通过将傅里叶神经算子（FNO）融入隐藏状态更新机制，以建模具有噪声的、非马尔可夫性的物理数据。通过在傅里叶空间中学习输入到输出以及隐藏状态的映射，F-RNN在噪声时间序列数据上，特别是在湍流和非马尔可夫性场景下，其精度和训练速度均优于标准RNN和FNO。

ABSTRACT

Classical sequential models employed in time-series prediction rely on learning the mappings from the past to the future instances by way of a hidden state. The Hidden states characterise the historical information and encode the required temporal dependencies. However, most existing sequential models operate within finite-dimensional Euclidean spaces which offer limited functionality when employed in modelling physics relevant data. Alternatively recent work with neural operator learning within the Fourier space has shown efficient strategies for parameterising Partial Differential Equations (PDE). In this work, we propose a novel sequential model, built to handle Physics relevant data by way of amalgamating the conventional RNN architecture with that of the Fourier Neural Operators (FNO). The Fourier-RNN allows for learning the mappings from the input to the output as well as to the hidden state within the Fourier space associated with the temporal data. While the Fourier-RNN performs identical to the FNO when handling PDE data, it outperforms the FNO and the conventional RNN when deployed in modelling noisy, non-Markovian data.

研究动机与目标

• 为解决标准RNN和FNO在建模具有复杂时间动态的噪声非马尔可夫性物理数据时的局限性。
• 通过利用傅里叶表示进行无穷维函数空间学习，提升时间序列建模中的泛化能力和鲁棒性。
• 开发一种混合架构，在保留RNN的序列归纳偏置的同时，受益于FNO的谱效率和算子学习能力。
• 实现在噪声或湍流条件下对物理系统更准确、更高效的代理建模。

提出的方法

• F-RNN架构用一种在频域中操作隐藏状态和输入的傅里叶层，替代了标准RNN中的隐藏状态更新机制。
• 它对输入和隐藏状态应用学习到的傅里叶基变换，将其映射到谱域，从而实现无穷维函数空间操作。
• 该模型在傅里叶空间中使用可学习的权重矩阵来参数化从隐藏状态到下一隐藏状态的转移，以保持时间依赖性。
• 网络通过梯度下降进行端到端训练，傅里叶层通过离散傅里叶变换和逆变换实现。
• 该方法支持在傅里叶域中同时进行输入到输出的映射和隐藏状态的演化，实现谱与序列学习的联合。
• 该架构在不同噪声水平下对PDE（纳维-斯托克斯方程、波动方程）进行了评估，以检验其鲁棒性和泛化能力。

Figure 1: Architecture of the Fourier layer applied within the FNO. It involves two sets of weight matrices $R$ and $W$ . $R$ learns the behaviour within the Fourier space while $W$ learns the behaviour within the input Euclidean space. [ 2 ]

实验结果

研究问题

• RQ1 将傅里叶神经算子集成到RNN隐藏状态更新中，是否能提升在噪声非马尔可夫性物理数据上的性能？
• RQ2 F-RNN在建模高噪声和复杂动态的时间序列数据时，与标准RNN和FNO相比表现如何？
• RQ3 在傅里叶空间中学习是否能增强物理系统代理建模中的泛化能力和鲁棒性？
• RQ4 与基线模型相比，F-RNN在噪声水平不断增加的情况下，性能保持程度如何？

主要发现

• 在湍流流动的纳维-斯托克斯方程上，即使在高噪声水平（N = 0.25）下，F-RNN的均方误差仍优于标准RNN和FNO，而C-RNN在此条件下无法收敛。
• 在噪声因子为0.25的二维波动方程中，F-RNN的测试损失为0.001073，优于FNO（0.001461）和C-RNN（0.00727）。
• 在层流纳维-斯托克斯情况下，F-RNN在低噪声时与FNO性能相当，但在高噪声时表现更优，显示出更强的鲁棒性。
• 在波动方程和纳维-斯托克斯实验中，F-RNN在所有噪声水平下均将测试损失降低超过两个数量级，相比C-RNN。
• F-RNN的GPU推理时间显著快于C-RNN，表明其计算效率更高。
• 在所有噪声水平下，F-RNN均保持稳定训练和泛化，而C-RNN在湍流纳维-斯托克斯场景中于N ≥ 0.05时崩溃。

Figure 2: Architecture of an RNN Cell. Each cell is parameterised by two weight matrices: $W_{x}$ and $W_{h}$ . The former learns the mappings of the input to the output while the latter learns that impact the hidden state has on the output.