[論文レビュー] Long-time prediction of nonlinear parametrized dynamical systems by deep learning-based reduced order models

Federico Fatone, Stefania Fresca+1 more|arXiv (Cornell University)|Jan 25, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、非線形パrameter付き動的系の長期予測を可能にする、深層学習ベースの低次元モデルであるμt-POD-LSTM-ROMを提案する。本モデルは、固有直交分解（POD）と長短期記憶（LSTM）ネットワークを組み合わせ、パラメータと時間の予測を2つの別々のLSTMアーキテクチャに分離することで、学習ウィンドウの15倍まで時間外挿が可能となり、平均相対誤差は9.029×10⁻⁵、従来のPOD-DL-ROMよりも52%高速な推論を達成した。

ABSTRACT

Deep learning-based reduced order models (DL-ROMs) have been recently proposed to overcome common limitations shared by conventional ROMs - built, e.g., exclusively through proper orthogonal decomposition (POD) - when applied to nonlinear time-dependent parametrized PDEs. In particular, POD-DL-ROMs can achieve extreme efficiency in the training stage and faster than real-time performances at testing, thanks to a prior dimensionality reduction through POD and a DL-based prediction framework. Nonetheless, they share with conventional ROMs poor performances regarding time extrapolation tasks. This work aims at taking a further step towards the use of DL algorithms for the efficient numerical approximation of parametrized PDEs by introducing the $μt$-POD-LSTM-ROM framework. This novel technique extends the POD-DL-ROM framework by adding a two-fold architecture taking advantage of long short-term memory (LSTM) cells, ultimately allowing long-term prediction of complex systems' evolution, with respect to the training window, for unseen input parameter values. Numerical results show that this recurrent architecture enables the extrapolation for time windows up to 15 times larger than the training time domain, and achieves better testing time performances with respect to the already lightning-fast POD-DL-ROMs.

研究の動機と目的

• 従来の低次元モデル（ROM）が学習時間領域を超えて解を外挿できないという顕著な限界を解決すること。
• PODに基づくROMの劣悪な時間外挿性能を克服しつつ、オンラインシミュレーションの高い効率性を維持すること。
• 流体力学的問題を含む、複雑な非線形パrameter付き動的系の、未観測のパrameter値および延長時間スケールにおいて、高速で正確かつロバストな予測を可能にすること。
• ブラックボックスの高精度ソルバーと互換性を持つ非侵襲的フレームワークを構築し、FOMスナップショットの短縮によりオフライン計算コストを削減すること。
• 制御、最適化、不確実性定量化などの時間的に制限のあるアプリケーションにおいて、リアルタイムを超える性能を達成すること。

提案手法

• 解の近似を2段階に分解する：(1) パラメータに依存する解の予測にパラメータに敏感なLSTMを用い、(2) 時間発展の予測に時間に敏感なLSTMを用いる。
• 高精度FOMスナップショットから低次元の低次元多様体を抽出するために、固有直交分解（POD）を用いる。
• 2本のブランチを持つLSTMアーキテクチャを訓練する：1つはパラメータ依存の解マッピングに、もう1つは時間的ダイナミクスに特化。両者とも長距離依存性を捉えるために長短期記憶セルを活用する。
• 将来の一般化座標をLSTMで符号化された潜在状態から予測するために、3層のフィードフォワードレグレッサーを採用し、エンドツーエンドの時間外挿を実現する。
• 畳み込みオートエンコーダ（CAE）のデコーダを統合し、低次元座標からフルオーダー解を再構築することで、空間的忠実性を確保する。
• FOMスナップショットのみを用いて非侵襲的にモデルを訓練することで、ブラックボックスソルバーとの互換性を確保し、実装の複雑さを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのROMフレームワークは、学習時間ウィンドウを超えて非線形パラメトリックPDEの信頼性の高い長期時間外挿を達成できるか？
• RQ2 提案されたμt-POD-LSTM-ROMは、既存のPOD-DL-ROMと比較して、特にオンライン推論時間と未観測パラメータへの一般化性能において、精度と速度の点で優れているか？
• RQ3 FOMスナップショットの短縮を可能にすることで、予測精度を損なわず、オフライン計算コストをどの程度削減できるか？
• RQ4 非周期的または渦を伴う流れ、例えば層流状態の非定常ナビエ-ストークス方程式のような複雑な流れにおいて、モデルは高い精度を維持できるか？
• RQ5 パラメータと時間の予測を分離したアーキテクチャは、非線形力学系において、統合的モデリング手法と比較して外挿性能を向上させるか？

主な発見

• μt-POD-LSTM-ROMは、学習時間領域の15倍まで時間外挿を達成し、非定常ナビエ-ストークス方程式を含む複雑な流体力学的問題においても、高いロバスト性を示した。
• Re=117（渦剥離）のテストケースでは、平均相対誤差が5.806×10⁻²であり、95%ブートストラップ信頼区間は[9.029×10⁻⁵, 1.053×10⁻⁴]であった。これは、限られた学習データでも高い精度を示している。
• ベースラインのPOD-DL-ROMと比較して、オンライン予測時間を52%短縮し、0.1秒スケールの時間スケールを持つ問題において、リアルタイムを超えるシミュレーション性能を達成した。
• 圧力データにアクセスせずに速度場のみで学習した場合でも、モデルは高い精度を維持した。これは、モデルのロバスト性と一般化能力を示している。
• μt-POD-LSTM-ROMの学習には2415エポック（5692秒）で完了し、160万パラメータのコンactなアーキテクチャにより推論が高速化された。これにより、クラウドGPUクラスタを必要としないローカルデプロイメントが可能になった。
• 本フレームワークは、周期的および非周期的両システムにおいて成功した外挿を示した。具体的には、3種の種のロトカ-ヴォルテラモデルと線形移流拡散反応方程式を含み、広範な適用可能性を確認した。