[論文レビュー] Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks

Katarzyna Michałowska, Somdatta Goswami+2 more|arXiv (Cornell University)|Mar 3, 2023

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、深層作用素ネットワーク（DeepONet）またはフォーリエニューラル作用素（FNO）と再帰的ニューラルネットワーク（RNN）を組み合わせたハイブリッドニューラル作用素-RNNフレームワークを提案する。このアーキテクチャにより、動的システムにおける長時間積分の精度が向上し、誤差の蓄積が低減され、補間および外挿の両方において安定性が向上する。Korteweg-de Vries方程式において、複数のRNNバージョンおよび学習戦略において、従来のニューラル作用素を上回る性能を示した。

ABSTRACT

Deep neural networks are an attractive alternative for simulating complex dynamical systems, as in comparison to traditional scientific computing methods, they offer reduced computational costs during inference and can be trained directly from observational data. Existing methods, however, cannot extrapolate accurately and are prone to error accumulation in long-time integration. Herein, we address this issue by combining neural operators with recurrent neural networks, learning the operator mapping, while offering a recurrent structure to capture temporal dependencies. The integrated framework is shown to stabilize the solution and reduce error accumulation for both interpolation and extrapolation of the Korteweg-de Vries equation.

研究の動機と目的

• 長時間積分におけるニューラル作用素を用いた動的システムの誤差蓄積の課題に対処すること。
• 標準的なニューラル作用素の能力を超えて、パrametric ODE/PDEのシミュレーションにおける補間および外挿の精度を向上させること。
• 再帰的ニューラルネットワーク（RNN）をニューラル作用素と統合し、時間的依存性をモデル化し、長時間スパンでの予測の安定性を高めること。
• ニューラル作用素とRNNのコンポONENTの共同学習と2段階学習の影響がモデル性能に与える影響を評価すること。
• 非線形Korteweg-de Vries方程式において、補間および外挿の両設定下で、このフレームワークの有効性を示すこと。

提案手法

• ニューラル作用素（DeepONetまたはFNO）と再帰的ニューラルネットワーク（RNN、LSTM、またはGRU）を組み合わせ、解作用素と時間的ダイナミクスを同時に学習する。
• ニューラル作用素は初期条件を離散時間間隔での解状態にマッピングし、その出力を順次RNNに供給して時間発展をモデル化する。
• RNNは長時間にわたる時間的依存性を捉える隠れ状態を維持し、長大な軌道における予測の安定性を向上させる。
• RNNの出力を全結合層に通して、元の空間次元での解の再構築を行う。
• モデルはエンドツーエンド（同時学習）または2段階（作用素を事前学習し、その後RNNで微調整）の両方の方法で学習可能であり、学習戦略のアブレーションが可能である。
• フレームワークは、異なる時間スケールを想定した補間および外挿タスクに対して、Korteweg-de Vries（KdV）方程式を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 ニューラル作用素とRNNを組み合わせることで、動的システムの長時間積分における誤差蓄積を低減できるか？
• RQ2 RNNアーキテクチャの選択（RNN、LSTM、GRU）が、ハイブリッドモデルの性能に与える影響は何か？
• RQ3 ニューラル作用素とRNNを同時に学習させることで、2段階学習に比べて予測精度と安定性が向上するか？
• RQ4 外挿において、長時間スパンにわたって解の形状をどれだけ維持でき、歪みを避けることができるか？
• RQ5 誤差の増大度と解の忠実度の観点から、ハイブリッドモデルは、従来のニューラル作用素に比べてどの程度優れているか？

主な発見

• 共同学習によるハイブリッドDON-RNNモデルは、誤差が最小で、誤差の増大が最も遅く、長時間外挿において、従来のヴァニラDeepONetを著しく上回った。
• FNO-RNNでは、2段階学習が誤差蓄積を低減させ、予測を安定化させたが、DeepONet-RNNでは共同学習が2段階学習よりも優れた結果をもたらした。
• RNN統合モデルは、時間の経過とともに波形の維持がより良好であり、特にt=5.0において、ヴァニラモデルは真値との類似性を完全に失っていた。
• 補間タスクでは、すべてのハイブリッドモデルが誤差蓄積曲線が平坦であり、DON-RNN（共同学習）が全体で最小の誤差を達成した。
• FNO-RNNモデルは、ヴァニラFNOと同等の性能を示したが、ハイブリッドアーキテクチャは外挿における安定性を向上させ、誤差増大を低減した。
• 共同学習は、特にDeepONetベースのモデルにおいて、2段階学習よりもより安定的かつ正確な予測をもたらした。