[論文レビュー] Model Reduction with Memory and the Machine Learning of Dynamical Systems

Chao Ma, Jianchun Wang+1 more|arXiv (Cornell University)|Aug 10, 2018

Model Reduction and Neural Networks参考文献 11被引用数 17

ひとこと要約

本稿では、Mori-Zwanzig形式にインspiredされた、記憶効果を捕捉するための再帰的ニューラルネットワーク（RNN）を活用する、新しいモデル還元フレームワークを提案する。RNNを用いて解の履歴からサブグリッドスストレスをモデル化することで、Kuramoto-Sivashinsky方程式およびナビエ-ストークス方程式において、短時間予測の正確性と長時間統計的性質の両方を達成し、古典的モデル（Smagorinskyモデル）を上回る性能を示した。

ABSTRACT

The well-known Mori-Zwanzig theory tells us that model reduction leads to memory effect. For a long time, modeling the memory effect accurately and efficiently has been an important but nearly impossible task in developing a good reduced model. In this work, we explore a natural analogy between recurrent neural networks and the Mori-Zwanzig formalism to establish a systematic approach for developing reduced models with memory. Two training models-a direct training model and a dynamically coupled training model-are proposed and compared. We apply these methods to the Kuramoto-Sivashinsky equation and the Navier-Stokes equation. Numerical experiments show that the proposed method can produce reduced model with good performance on both short-term prediction and long-term statistical properties.

研究の動機と目的

• 高次元の動的システムの低次元還元モデルにおける記憶効果を正確かつ効率的にモデル化するという、長年の課題に取り組む。
• RNNの隠れ状態と未解決変数の表現との類似性を活用することで、Mori-Zwanzig形式と現代の機械学習を橋渡しする。
• データ駆動型の体系的で、短時間の動的挙動と長時間の統計的挙動の両方を保持する還元モデルを開発する。
• 解の履歴からサブグリッドスストレスを学習するための2つの訓練戦略—直接訓練と動的に結合された訓練—を比較する。

提案手法

• 元のPDEをフィルタリングすることで導かれるマクロスケール方程式を用いて還元系を定式化し、未解決フラックスを表すサブグリッドスストレス項を含める。
• 履歴にわたる解の変数を用いてトレーニングされた長短期記憶（LSTM）ネットワークを用いて、サブグリッドスストレスを記憶項としてモデル化する。
• 2つの訓練戦略を実装する：直接訓練（スストレスのフィッティング）と結合訓練（共同最適化による解の変数のフィッティング）。
• 空間モードの次元削減にスペクトルフィルタリングを用い、高次元出力に対応するため、LSTMをスストレス成分ごとに列方向にトレーニングする。
• Adam最適化子を用いて10⁵ステップ、バッチサイズ64でLSTMをトレーニングし、スストレス予測の履歴として20ステップ分の時系列データを用いる。
• 2次元のせん断流れにおける相対誤差、相関係数、およびSmagorinskyモデルとの比較を通じて、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 RNNは、Mori-Zwanzig形式に由来する還元モデルにおける記憶効果を効果的にモデル化できるか？
• RQ2 直接訓練と結合訓練の2つの戦略は、動的システムにおけるサブグリッドスストレスの学習において、どのように比較されるか？
• RQ3 提案手法は、K-SやN-Sのようなカオス的システムにおいて、短時間予測の正確性と長時間統計的性質の両方を保持できるか？
• RQ4 RNNを用いた還元モデルは、大渦シミュレーションにおける古典的モデル（例：Smagorinskyモデル）と比較して、どのように性能を発揮するか？

主な発見

• 直接訓練モデルは、2次元せん断流れ問題において、テスト誤差が約5%に達した。トレーニング誤差は3–4%まで低下した。
• 予測されたスストレスと真値との相関係数は、領域の大部分で1に近い値を示したが、境界付近ではスストレス値が小さく、予測が困難なため、やや低かった。
• 数値的比較により、RNNを用いた還元モデルが真の解をよりよく追跡しており、Smagorinskyモデルよりも顕著に偏差が小さいことが示された。
• 本手法は、長期間にわたる統計的性質を的確に捉え、長時間にわたるシミュレーションでも精度を維持した。
• 列方向のLSTM訓練戦略により、高次元のスストレス出力を効果的に処理でき、ネットワークサイズの膨張を回避できた。