[論文レビュー] Adaptive learning of effective dynamics: Adaptive real-time, online modeling for complex systems

Ivica Kičić, Pantelis R. Vlachas+4 more|arXiv (Cornell University)|Apr 4, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

AdaLEDは、高精度な計算ソルバと学習されたスレーブモデルの間を動的に切り替えることで、複雑なマルチスケールシミュレーションの高速化を実現する、新しい適応的でオンライン学習可能なフレームワークである。次元削減にオートエンコーダーを、潜在空間における時間発展に確率的RNNのアンサンブルを用い、オンライン学習により新規の力学的挙動に継続的に適応する。Navier-Stokes流れにおいて、レイノルズ数が変化する条件下で最大2.9倍のネット速度向上を達成し、同時に高い精度を維持した。

ABSTRACT

Predictive simulations are essential for applications ranging from weather forecasting to material design. The veracity of these simulations hinges on their capacity to capture the effective system dynamics. Massively parallel simulations predict the systems dynamics by resolving all spatiotemporal scales, often at a cost that prevents experimentation. On the other hand, reduced order models are fast but often limited by the linearization of the system dynamics and the adopted heuristic closures. We propose a novel systematic framework that bridges large scale simulations and reduced order models to extract and forecast adaptively the effective dynamics (AdaLED) of multiscale systems. AdaLED employs an autoencoder to identify reduced-order representations of the system dynamics and an ensemble of probabilistic recurrent neural networks (RNNs) as the latent time-stepper. The framework alternates between the computational solver and the surrogate, accelerating learned dynamics while leaving yet-to-be-learned dynamics regimes to the original solver. AdaLED continuously adapts the surrogate to the new dynamics through online training. The transitions between the surrogate and the computational solver are determined by monitoring the prediction accuracy and uncertainty of the surrogate. The effectiveness of AdaLED is demonstrated on three different systems - a Van der Pol oscillator, a 2D reaction-diffusion equation, and a 2D Navier-Stokes flow past a cylinder for varying Reynolds numbers (400 up to 1200), showcasing its ability to learn effective dynamics online, detect unseen dynamics regimes, and provide net speed-ups. To the best of our knowledge, AdaLED is the first framework that couples a surrogate model with a computational solver to achieve online adaptive learning of effective dynamics. It constitutes a potent tool for applications requiring many expensive simulations.

研究の動機と目的

• 流体の流れや材料のダイナミクスなどの複雑系における大規模シミュレーションの高い計算コストに対処すること。
• 線形化やヒューリスティックな閉じ込めに依存する従来の低次元モデルの限界を克服すること。
• シミュレーション中に未知の動的領域に直面しても、継続的かつオンラインでスレーブモデルを適応可能にするフレームワークの開発。
• 予測精度を維持しつつ、マルチスケール系における顕著な計算速度向上を達成すること。
• 微視的（ソルバ）と巨視的（スレーブ）のプロパゲーションを交互に実行するハイブリッドシミュレーションループ内で、高精度ソルバとデータ駆動型スレーブのリアルタイムで適応的な結合を可能にすること。

提案手法

• 高次元データからシステムの状態の低次元で有効な表現を学ぶために畳み込みオートエンコーダーを採用する。
• 潜在空間におけるシステム力学の発展を担う、確率的再帰ニューラルネットワーク（RNN）のアンサンブル（潜在時間ステッパー）を用いる。
• リアルタイムでの予測不確実性と精度のモニタリングに基づき、高精度計算ソルバとスレーブモデルの間を動的に切り替える。
• 新たな動的領域に適応するため、計算ソルバから生成された新規データを用いてスレーブモデルを継続的にオンラインで再訓練する。
• 予測誤差と不確実性推定値に基づき、速度と精度のバランスを取るためのソルバとスレーブの間の遷移基準を定義する。
• 微視的（ソルバ）と巨視的（スレーブ）のプロパゲーションを交互に実行するハイブリッドシミュレーションループにフレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーション中にリアルタイムでトレーニングされ、適応されるスレーブモデルは、複雑なマルチスケール系における変化する力学的挙動を捉えることができるか？
• RQ2 リアルタイムで、計算速度向上と予測精度のトレードオフを効果的に管理する方法は何か？
• RQ3 一度に著しい異なる動的領域をカバーできる単一の適応的スレーブモデルは、深刻な忘却を回避して一般化可能か？
• RQ4 シミュレーション中に高精度ソルバと学習済みスレーブの間を信頼性高く動的に切り替えるための基準は何か？
• RQ5 オンライン学習は、流体力学やその他の複雑系における低次元モデリングのロバスト性と効率性をどの程度向上できるか？

主な発見

• 2Dの円柱周りのNavier-Stokes流れの3日間のシミュレーションにおいて、レイノルズ数が400から1200にわたる範囲で、AdaLEDは2.9倍のネット速度向上を達成した。
• 速度場では平均二乗誤差がわずか約1%、円柱にかかる力では平均二乗誤差が約5%に抑えられ、相関係数は0.99であった。
• 再トレーニングや再初期化を必要とせず、以前に観測されていなかった動的領域を学習・適応することができた。
• スレーブモデルは分布シフトに対して頑健であり、オンライン適応中に深刻な忘却を回避した。
• オンライントレーニングメカニズムにより、ソルバから得られた新規データが統合されるたびにスレーブモデルの性能が継続的に向上した。
• 予測不確実性と誤差の閾値を調整することで、速度向上と精度の間のチューナブルなトレードオフをフレームワークが提供した。