[論文レビュー] Markov Neural Operators for Learning Chaotic Systems.

Zongyi Li, Nikola Kovachki+5 more|arXiv (Cornell University)|Jun 13, 2021

Model Reduction and Neural Networks参考文献 30被引用数 12

ひとこと要約

本稿では、カオス的システムの無限小時間ステップを支配するマルコフ作用素を学習する深層学習フレームワーク、マーキovニューラル作用素（MNO）を紹介する。この学習済み作用素を合成することで、軌道の発散を回避し、長期的なダイナミクス、アトラクター、不変測度を正確に予測できる。カウルマン＝シバシキン方程式およびナビエ＝ストークス方程式において、精度と安定性の面で先行手法を上回っている。

ABSTRACT

Chaotic systems are notoriously challenging to predict because of their instability. Small errors accumulate in the simulation of each time step, resulting in completely different trajectories. However, the trajectories of many prominent chaotic systems live in a low-dimensional subspace (attractor). If the system is Markovian, the attractor is uniquely determined by the Markov operator that maps the evolution of infinitesimal time steps. This makes it possible to predict the behavior of the chaotic system by learning the Markov operator even if we cannot predict the exact trajectory. Recently, a new framework for learning resolution-invariant solution operators for PDEs was proposed, known as neural operators. In this work, we train a Markov neural operator (MNO) with only the local one-step evolution information. We then compose the learned operator to obtain the global attractor and invariant measure. Such a Markov neural operator forms a discrete semigroup and we empirically observe that does not collapse or blow up. Experiments show neural operators are more accurate and stable compared to previous methods on chaotic systems such as the Kuramoto-Sivashinsky and Navier-Stokes equations.

研究の動機と目的

• 初期条件への指数的敏感性のため、カオス的システムの予測が困難であるという課題に対処すること。
• カオス的軌道が、マルコフ作用素によって支配される低次元のアトラクター上にあるという事実を活用すること。
• 1ステップ進化のダイナミクスのみを学習するニューラル作用素を開発し、軌道レベルの誤差を回避すること。
• 学習済み作用素を繰り返し合成して、長期的システム行動を保持する離散的半群を構築すること。
• 吹き飛びや崩壊を伴わず、解像度に依存しない安定なカオス的システムの予測を達成すること。

提案手法

• 本手法は、カオス的システムの無限小時間ステップ進化を記述するマルコフ作用素を学習するためのニューラル作用素を訓練する。
• ネットワークは、エンドツーエンドの軌道予測を避けるために、局所的・1ステップのダイナミクスにのみ特化して訓練される。
• 学習済みマルコフ作用素は繰り返し合成され、長期的進化をシミュレートする離散的半群を形成する。
• このフレームワークは解像度に依存せず、異なる空間的・時間的解像度間での一般化を可能にする。
• 繰り返しの合成を通じて、システムのグローバルアトラクターと不変測度が暗黙的に学習される。
• アーキテクチャはニューラル作用素に基づいており、関数空間上で作用し、PDEの解法に適している。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、1ステップ進化データのみからカオス的システムのマルコフ作用素を学習できるか？
• RQ2 学習済みマルコフ作用素を合成することで、軌道の発散を伴わず、安定かつ高精度な長期予測が得られるか？
• RQ3 局所的ダイナミクスから、システムのグローバルアトラクターと不変測度を回復できるか？
• RQ4 マーキovニューラル作用素は、カオス的PDEにおいて、標準的ニューラル作用素およびベースライン手法と比較してどのように性能を発揮するか？
• RQ5 本手法は解像度の変更に対して頑健であり、長時間にわたる積分において数値的に安定しているか？

主な発見

• マーキovニューラル作用素は、全軌道の監視を必要とせず、1ステップ進化データからのみ、内在するマルコフ作用素を正しく学習できた。
• 合成された作用素は、長時間にわたって安定しており、推論中に崩壊や発散を示さなかった。
• カウルマン＝シバシキン方程式およびナビエ＝ストークス方程式において、従来手法を上回る高い精度を達成した。
• 予測されたアトラクターと不変測度は、基準解とよく一致しており、システムダイナミクスの忠実な再現を示している。
• このフレームワークは解像度に依存せず、異なる離散化レベルへの一般化が可能である。
• 実験的結果から、標準的ニューラル作用素およびベースラインモデルと比較して、安定性と予測の正確性が向上していることが示された。