[論文レビュー] Fourier-RNNs for Modelling Noisy Physics Data

Vignesh Gopakumar, S. Pamela+1 more|arXiv (Cornell University)|Feb 13, 2023

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、ノイズが強く、非マルコフ的特性を示す物理現象データをモデル化するために、フーリエニューラルオペレータ（FNO）を隠れ状態の更新メカニズムに統合した新しい再帰的ニューラルネットワーク、Fourier-RNN（F-RNN）を提案する。入力から出力および隠れ状態への写像をフーリエ空間で学習することで、F-RNNはノイズの多い時系列データ、特に乱流や非マルコフ的状態の下で、標準的なRNNやFNOよりも精度と学習速度に優れる。

ABSTRACT

Classical sequential models employed in time-series prediction rely on learning the mappings from the past to the future instances by way of a hidden state. The Hidden states characterise the historical information and encode the required temporal dependencies. However, most existing sequential models operate within finite-dimensional Euclidean spaces which offer limited functionality when employed in modelling physics relevant data. Alternatively recent work with neural operator learning within the Fourier space has shown efficient strategies for parameterising Partial Differential Equations (PDE). In this work, we propose a novel sequential model, built to handle Physics relevant data by way of amalgamating the conventional RNN architecture with that of the Fourier Neural Operators (FNO). The Fourier-RNN allows for learning the mappings from the input to the output as well as to the hidden state within the Fourier space associated with the temporal data. While the Fourier-RNN performs identical to the FNO when handling PDE data, it outperforms the FNO and the conventional RNN when deployed in modelling noisy, non-Markovian data.

研究の動機と目的

• 複雑な時間的ダイナミクスを示すノイズの多い非マルコフ的物理現象データのモデル化において、標準的なRNNやFNOの限界を克服すること。
• フーリエ表現による無限次元関数空間の学習を活用することで、時系列モデルの一般化性能とロバスト性を向上させること。
• RNNの逐次的インダクティブバイアスを保持しつつ、FNOのスペクトル効率とオペレータ学習の利点を享受できるハイブリッドアーキテクチャの開発。
• ノイズや乱流状態下での物理系のより正確で効率的なサーモンモデル（代理モデル）を可能にすること。

提案手法

• F-RNNアーキテクチャは、RNNの標準的な隠れ状態更新を、周波数領域で動作するフーリエ層に置き換える。
• 入力と隠れ状態を周波数ドメインに写像するための学習可能なフーリエ基底変換を適用し、無限次元関数空間における演算を可能にする。
• 隠れ状態から次の隠れ状態への遷移をパrameter化するために、フーリエ空間における学習可能な重み行列を用いることで、時間的依存性を保持する。
• 勾配降下法を用いてエンドツーエンドで学習し、フーリエ層は離散フーリエ変換と逆変換を介して実装される。
• 入力から出力への写像と隠れ状態の進化を両方ともフーリエドメインで行うことで、スペクトル的および逐次的学習を統合する。
• ノイズレベルを変化させた偏微分方程式（ナビエ＝ストークス方程式、波動方程式）を用いて、耐性および一般化性能を評価する。

Figure 1: Architecture of the Fourier layer applied within the FNO. It involves two sets of weight matrices $R$ and $W$ . $R$ learns the behaviour within the Fourier space while $W$ learns the behaviour within the input Euclidean space. [ 2 ]

実験結果

リサーチクエスチョン

• RQ1 RNNの隠れ状態更新にフーリエニューラルオペレータを統合することで、ノイズの多い非マルコフ的物理現象データの性能向上が図れるか？
• RQ2 F-RNNは、高ノイズと複雑なダイナミクスを示す時系列データのモデル化において、標準的なRNNやFNOと比較してどのように性能を発揮するか？
• RQ3 フーリエ空間での学習が、物理系の代理モデルにおける一般化性能とロバスト性を向上させるか？
• RQ4 F-RNNは、ベースラインモデルと比較して、ノイズレベルの上昇に伴いどの程度の性能を維持できるか？

主な発見

• 乱流状態下のナビエ＝ストークス方程式において、F-RNNは標準的なRNNおよびFNOを上回り、N = 0.25という高ノイズレベルでも、C-RNNは収束不能であるのに対し、平均二乗誤差が低い。
• 2次元波動方程式においてノイズ要因が0.25の場合、F-RNNのテスト損失は0.001073であり、FNO（0.001461）およびC-RNN（0.00727）を上回る。
• 層流状態のナビエ＝ストークス方程式において、F-RNNは低ノイズではFNOと同等の性能を示すが、ノイズが高くなるとそれを上回り、より優れたロバスト性を示す。
• 波動方程式およびナビエ＝ストークス方程式の実験において、F-RNNはC-RNNと比較して、すべてのノイズレベルでテスト損失を2桁以上削減した。
• F-RNNはC-RNNに比べてGPU推論時間が著しく短く、計算効率の向上を示している。
• F-RNNは、すべてのノイズレベルで安定した学習と一般化性能を維持しているが、C-RNNは乱流ナビエ＝ストークスシナリオにおいてN ≥ 0.05で崩壊する。

Figure 2: Architecture of an RNN Cell. Each cell is parameterised by two weight matrices: $W_{x}$ and $W_{h}$ . The former learns the mappings of the input to the output while the latter learns that impact the hidden state has on the output.