[論文レビュー] Reduced-order Model for Fluid Flows via Neural Ordinary Differential Equations

Carlos Jose Gonzalez Rojas, Andreas Dengel+1 more|arXiv (Cornell University)|Feb 3, 2021

Model Reduction and Neural Networks参考文献 23被引用数 9

ひとこと要約

本稿では、固有直交分解（POD）モードからの時間係数を予測するために、ニューラル常微分方程式（NODE）を用いたデータ駆動型低次元モデルを提案する。従来のガラーキン射影の代わりに連続的かつ潜在空間に埋め込まれたNODEアーキテクチャを採用することで、LSTMベースラインと比較して予測外挙の性能と誤差耐性が優れている。計算コストを最小限に抑えつつ、渦運動や流れの特徴の高精度な再構成が可能である。

ABSTRACT

Reduced order models play an important role in the design, optimization and control of dynamical systems. In recent years, there has been an increasing interest in the application of data-driven techniques for model reduction that can decrease the computational burden of numerical solutions, while preserving the most important features of complex physical problems. In this paper, we use the proper orthogonal decomposition to reduce the dimensionality of the model and introduce a novel generative neural ODE (NODE) architecture to forecast the behavior of the temporal coefficients. With this methodology, we replace the classical Galerkin projection with an architecture characterized by the use of a continuous latent space. We exemplify the methodology on the dynamics of the Von Karman vortex street of the flow past a cylinder generated by a Large-eddy Simulation (LES)-based code. We compare the NODE methodology with an LSTM baseline to assess the extrapolation capabilities of the generative model and present some qualitative evaluations of the flow reconstructions.

研究の動機と目的

• フルオーダーのシミュレーションの計算負荷を回避する非侵襲的かつデータ駆動型の低次元モデル（ROM）を構築すること。
• 古典的なガラーキン射影の代わりに、潜在空間における連続的かつ生成的ニューラルODEアーキテクチャを採用し、時間係数のダイナミクスを学習すること。
• 長期的な流れ予測において、自己回帰モデル（LSTMなど）と比較して、予測外挙性能の向上と誤差蓄積の低減を図ること。
• ラベル付きの時間窓や明示的な物理法則の定式化を必要としない、非教師あり学習による動的システムの学習を可能にすること。

提案手法

• LESで生成された300枚のスナップショットに対してスナップショット固有直交分解（POD）を適用し、空間モードと時間係数を抽出。8モードで99％の情報を保持。
• 時間係数を低次元の潜在空間に符号化する非教師ありオートエンコーダーフレームワークを用いる。
• エンコーダーとデコーダーの間にニューラルODE（NODE）ブロックを統合し、潜在ダイナミクスの連続時刻における変化をモデル化する。
• 離散的な時間ステップの監視なしに、時間系列全体における再構成誤差を最小化する連続的時間損失関数を用いてNODEを学習。
• 順方向伝播のデコーダーニューラルネットワークを用いて、潜在状態を時間係数空間に復元する。
• NODE-ROMの性能を、同一の訓練・検証・テスト分割（75/25/200時間ステップ）を用いたLSTMベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEベースのアーキテクチャは、流体流れ系におけるPOD係数の時間的変化を効果的に学習・予測できるか？
• RQ2 長期的な予測外挙精度と誤差蓄積の観点から、NODE-ROMはLSTMベースラインと比べてどの程度優れているか？
• RQ3 NODEの連続的潜在空間定式化は、離散的な自己回帰モデルと比較して、より優れた一般化性能と物理的一致性を提供するか？
• RQ4 NODE-ROMは、フルオーダーのシミュレーションコストを最小限に抑えながら、Von Kármán渦列のような複雑な流れの特徴をどの程度再構成できるか？

主な発見

• NODEモデルは、特に3番目と4番目のPOD時間係数について、LSTMベースラインと比較して顕著に高い予測精度を達成した。特に、長期テスト窓（t ∈ [200,300]）で顕著であった。
• LSTMモデルは、自己回帰的性質に起因し、α₁およびα₂について時間経過に伴い誤差蓄積が進行することが、先行研究でも指摘されている。
• NODEモデルは優れた予測外挙能力を示し、200ステップの全テスト系列にわたり、誤差のずれが生じることなく安定的かつ正確な予測を維持した。
• t=300におけるFLOW再構成では、NODE予測係数を用いた再構成がLESの真値と高い一致を示し、わずかな渦構造の差異を除いて良好であった。
• 下流のプローブにおける速度フラクチュエーションの時間履歴から、NODE-ROMがシステムの物理的応答を時間的に正確に捉えていることが確認された。
• ランダムサーチによるハイパーパramータチューニングにより、最適な設定が特定された：6次元の潜在空間、4層のエンコーダー／デコーダー、NODEモデルの学習率0.0015。