[論文レビュー] Sequence to sequence AE-ConvLSTM network for modelling the dynamics of PDE systems

Priyesh Rajesh Kakka|arXiv (Cornell University)|Aug 15, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、偏微分方程式（PDE）に従う力学的システムの長期予測を向上させるために、エンコーダ・デコーダブロック間での隠れ状態転送を活用する、自己符号化器ベースのシーケンス・ツー・シーケンス型ConvLSTMネットワーク（AE-ConvLSTM）を提案する。学習データに基づく訓練では、非定常2次元の粘性バーガース方程式およびナビエ＝ストークス方程式の100ステップ分の予測に成功するが、データなしの物理則制約型訓練では、特にナビエ＝ストークス方程式における速度と圧力といったマルチスケールで結合された場の間で、長期的なダイナミクスを捉えることが失敗する。

ABSTRACT

The article explains the convolutional LSTM (ConvLSTM) network in detail and introduces an improved auto-encoder version of the ConvLSTM network called AE-ConvLSTM. AE-ConvLSTM is also a sequence to sequence network that can predict long time evolution of a dynamical system by passing hidden states from one encoder to another. The network performed well in predicting the dynamic evolution of unsteady 2-D viscous Burgers when trained using data and, in another case, using governing equation (without data), i.e., physics-constrained. Further, AE-ConvLSTM was used in an effort to predict the time evolution of two unsteady Navier-Stokes problems. These problems have coupled pressure and velocity field having different magnitude order, and these fields evolve in time at a different rate. It was observed that the network could be trained using data, but while training using physics-constrained via governing equations, AE-ConvLSTM fails to train for time evolution.

研究の動機と目的

• 非線形PDEに従う力学的システムの長期的時間発展を予測できる深層学習代理モデルの開発を目的とする。
• 勾配消失と高い計算コストのため、標準的なConvLSTMや自己回帰型RNNが長期間のシーケンスを捉えるのを制限する点を解決することを目的とする。
• データ駆動型と物理則制約型（制御方程式のみ）の2つの訓練パラダイムにおけるAE-ConvLSTMの性能を評価することを目的とする。
• 非定常ナビエ＝ストークス方程式のような複雑で結合されたPDE系、特にマルチスケールの時間的発展を示す系において、物理則制約型訓練の可能性を調査することを目的とする。
• 特に、異なる速度で進化する場（例：ナビエ＝ストークス方程式における速度と圧力）を有する系において、物理則制約型訓練の失敗モードを特定することを目的とする。

提案手法

• エンコーダが入力シーケンスを潜在状態に圧縮し、デコーダが長期的な将来状態を再構築する、ConvLSTMに基づくシーケンス・ツー・シーケンス型自己符号化器アーキテクチャを提案する。
• 連続するエンコーダ・デコーダブロック間での隠れ状態転送を導入することで、1回の順伝播で最大100ステップの長期間予測が可能となり、勾配消失の問題が軽減される。
• 2ストリーム損失関数を採用：ナビエ＝ストークス方程式の場合は渦度およびストリーム関数場におけるMSE損失、および非圧縮性を強制する残留損失（∇·u = 0）。
• 学習データではなく制御方程式（例：粘性バーガース方程式、ナビエ＝ストークス方程式の渦度-速度形式）から損失を計算することで、物理則制約型訓練を実装する。
• 有限差分離散化を用いて、PDEの残差（例：∂tω + u·∇ω = νΔω + f）を物理則制約型訓練中の損失関数に組み込む。
• Adam最適化アルゴリズムを用い、学習率スケジューリングを適用してネットワークを訓練し、予測値とターゲット場のMSEおよびL1誤差を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 AE-ConvLSTMは、特に100ステップの予測において、標準的なConvLSTMを上回る性能を示すか？
• RQ2 物理則制約型訓練（データなし）によって、2次元の粘性バーガース方程式の長期的予測が正確に可能か？
• RQ3 バーガース方程式では成功したが、非定常ナビエ＝ストークス問題ではなぜ物理則制約型訓練が失敗するのか？
• RQ4 マルチスケールの時間的ダイナミクス（例：速度と圧力が異なる速度で進化する）は、物理則制約型AE-ConvLSTMの訓練にどのように影響するか？
• RQ5 PDEの残差のみで訓練された場合に、AE-ConvLSTMアーキテクチャは、ナビエ＝ストークス系における複雑で結合された場のダイナミクス（例：渦度と速度）を効果的に学習できるか？

主な発見

• データに基づく訓練では、AE-ConvLSTMは標準的なConvLSTMを上回り、2次元の粘性バーガース方程式の100ステップ分の予測を成功させる。
• 物理則制約型訓練において、AE-ConvLSTMは制御方程式（PDE）のみを損失関数に用い、最大35ステップまで学習した場合に、2次元の粘性バーガース方程式の100ステップ分の予測に成功した。
• リードドライブキャビティ問題におけるナビエ＝ストークス方程式では、データ駆動型訓練により、50ステップ分の速度場および渦度場の予測が優れた精度で得られた。
• リードドライブキャビティ問題における物理則制約型訓練では、初期の残差は正確であったが、数ステップ後に予測が発散し、長期的なダイナミクスを捉えられなかった。
• 周期的渦度形式のナビエ＝ストークス方程式では、物理則制約型訓練により最初の数ステップは正しく再現されたが、その後の精度が低下し、マルチスケール場の進化における不安定性が示された。
• 物理則制約型訓練の失敗は、最適化中の局所的最小値への陥落と、異なる時間的進化速度を示す場（例：ナビエ＝ストークス方程式における速度と圧力）を同時に学習する困難さに起因するとされる。