[論文レビュー] Neural Ordinary Differential Equations for Data-Driven Reduced Order Modeling of Environmental Hydrodynamics

Sourav Dutta, Peter Rivera-Casillas+1 more|arXiv (Cornell University)|Apr 22, 2021

Model Reduction and Neural Networks参考文献 66被引用数 6

ひとこと要約

本稿では、環境水理学的流れの低次元モデル（ROM）における潜在空間ダイナミクスをモデリングするための非干渉的で連続的深さを持つフレームワークとして、ニューラル常微分方程式（NODEs）を提案する。実験では、円柱周りの非圧縮性流れおよび現実の河川・河口付近の流れに対して、NODEsが長期予測において安定的で高精度かつ外挿可能な予測を達成しており、DMD や RBF 補間といった従来手法に比べて優れた性能を示している。訓練領域内でも競争力のある精度を維持している。

ABSTRACT

Model reduction for fluid flow simulation continues to be of great interest across a number of scientific and engineering fields. Here, we explore the use of Neural Ordinary Differential Equations, a recently introduced family of continuous-depth, differentiable networks (Chen et al 2018), as a way to propagate latent-space dynamics in reduced order models. We compare their behavior with two classical non-intrusive methods based on proper orthogonal decomposition and radial basis function interpolation as well as dynamic mode decomposition. The test problems we consider include incompressible flow around a cylinder as well as real-world applications of shallow water hydrodynamics in riverine and estuarine systems. Our findings indicate that Neural ODEs provide an elegant framework for stable and accurate evolution of latent-space dynamics with a promising potential of extrapolatory predictions. However, in order to facilitate their widespread adoption for large-scale systems, significant effort needs to be directed at accelerating their training times. This will enable a more comprehensive exploration of the hyperparameter space for building generalizable Neural ODE approximations over a wide range of system dynamics.

研究の動機と目的

• 流体の流れにおける低次元モデルの潜在空間ダイナミクスをモデリングする非干渉的で微分可能なフレームワークの開発。
• 実世界の水理学的応用において、DMD や RBF 補間といった古典的手法と比較して、Neural ODEs の性能を評価すること。
• トレーニングデータ範囲を超えた流れのダイナミクスを予測する能力、すなわち外挿能力を、NODEに基づくROMで評価すること。
• 河川や河口のような環境系における複雑で非線形的かつ時間依存のPDEをモデリングする際の、NODEの実現可能性と安定性を検討すること。
• 大規模な水理学的系において一般化性能とトレーニング効率を向上させるために重要なハイパーパramータおよびアーキテクチャ選択を同定すること。

提案手法

• 本手法は、流体の流れの高精度なスナップショットデータから低次元線形部分空間を抽出するために、適切な直交分解（POD）を用いる。
• 潜在空間のダイナミクスは、学習可能なニューラルネットワークによるベクトル場で定義される連続時系列動的システムとして、Neural ODEs を用いてモデル化する。
• NODEフレームワークは、ODEソルバを介したバックプロパゲーションによりエンドツーエンドで訓練され、低次元空間における連続的ダイナミクスの微分可能学習が可能になる。
• 本手法は、2つの古典的手法、すなわち POD-RBF 補間と POD-動的モード分解（DMD）と比較される。
• トレーニングには正規化された時間ステップと切断されたPODモードが用いられ、ベンチマークおよび実世界の流れ問題において安定性と精度を確保するためのハイパーパramータが最適化される。
• モデルの性能は、空間的平均二乗誤差（RMSE）と複数の時刻における速度場・水深場の可視的比較を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 Neural ODEs は、環境水理学的流れの低次元モデルにおける潜在空間ダイナミクスの進化を、安定的かつ高精度にモデリングするフレームワークを提供できるか？
• RQ2 NODEに基づくROMの予測精度および外挿能力は、DMD や RBF 補間といった古典的手法と比べてどの程度優れているか？
• RQ3 モデルアーキテクチャおよびハイパーパラメータ選択が、大規模な水理学的系におけるNODEベースROMの一般化性能とトレーニング効率に与える影響は何か？
• RQ4 NODEベースROMは、トレーニングデータに存在しない未観測の流れ領域にどの程度一般化できるか？
• RQ5 線形低次元空間が失敗する可能性があるような、急峻な勾配を示す広がり主導の複雑な流れを、NODEは効果的にモデリングできるか？

主な発見

• Neural ODEs は、円柱周りの流れおよび河川・河口付近の流れを含む、ベンチマークおよび実世界の水理学的問題において、潜在的ダイナミクスのモデリングにおいて安定的で高精度な学習軌道を示した。
• NODEベースROMは、円柱周りの流れの長期的外挿予測において、RBF 補間と同等の性能を達成し、DMD よりも優れた性能を示した。
• レッドリバーの事例では、NODE ROMはより正確なRBF手法と同等のRMSE性能を示したが、DMDは低次元切断レベル（r=30）のため高い誤差を示した。
• 円柱のケースにおいて、NODEフレームワークは有望な外挿予測を生成した。これは従来のROMでは稀な能力であり、未観測の流れ領域をモデリングする可能性を示している。
• 本研究では、大規模な環境モデリングへのNODEの広範な導入を可能にするために、ハイパーパラメータ最適化とトレーニング加速の必要性が強調された。
• 著者らは、すべてのデータとコードを公開することで、NODE-NIROMフレームワークの再現可能性およびさらなる開発を支援することを計画している。