[論文レビュー] Solving multiscale dynamical systems by deep learning

Junjie Yao, Yuxiao Yi+6 more|arXiv (Cornell University)|Jan 2, 2024

Advanced Mathematical Modeling in Engineering被引用数 4

ひとこと要約

本稿では、高次元のマルチスケール力学系のための代表的トレーニングデータを効率的に生成するために、モンテカルロサンプリングとODE駆動の進化を組み合わせた深層学習手法DeePODEを提案する。スティフODEの内在的ダイナミクスを活用することで、次元の呪いを克服し、深層ニューラルネットワークが乱流炎やバッテリー点火のような複雑な系に対して一般化可能となり、従来のソルバーよりも桁違いの高速化を達成しながら高い精度を実現する。

ABSTRACT

Multiscale dynamical systems, modeled by high-dimensional stiff ordinary differential equations (ODEs) with wide-ranging characteristic timescales, arise across diverse fields of science and engineering, but their numerical solvers often encounter severe efficiency bottlenecks. This paper introduces a novel DeePODE method, which consists of an Evolutionary Monte Carlo Sampling method (EMCS) and an efficient end-to-end deep neural network (DNN) to predict multiscale dynamical systems. We validate this finding across dynamical systems from ecological systems to reactive flows, including a predator-prey model, a power system oscillation, a battery electrolyte thermal runaway, and turbulent reaction-diffusion systems with complex chemical kinetics. The method demonstrates robust generalization capabilities, allowing pre-trained DNN models to accurately predict the behavior in previously unseen scenarios, largely due to the delicately constructed dataset. While theoretical guarantees remain to be established, empirical evidence shows that DeePODE achieves the accuracy of implicit numerical schemes while maintaining the computational efficiency of explicit schemes. This work underscores the crucial relationship between training data distribution and neural network generalization performance. This work demonstrates the potential of deep learning approaches in modeling complex dynamical systems across scientific and engineering domains.

研究の動機と目的

• 科学的・工学的分野における、広範な時間スケールを有する高次元スティフODEのシミュレーションにおける計算ボトルネックを解消すること。
• マルチスケール系の深層ニューラルネットワーク（DNN）代理モデルのトレーニングデータ生成における次元の呪いを克服すること。
• 未学習の初期条件や複雑な空間時間的ダイナミクスに対しても精度を維持できる汎用性のあるDNN代理モデルを開発すること。
• 深層学習を用いて、乱流炎や電力システムの振動といったマルチスケール系を、効率的で安定的かつ正確にシミュレートできること。
• システムダイナミクスをサンプリングプロセスに埋め込むことで、データ効率とモデル一般化性能が著しく向上することを示すこと。

提案手法

• DeePODEは、モンテカルロサンプリングと短時間のODE統合を組み合わせたグローバルマルチスケールサンプリング戦略を採用し、サンプルに動的情報を豊かにしている。
• ランダムにサンプリングされた初期状態が、支配的ODEによって短時間にわたり進化され、遅いダイナミクス領域にサンプルが集中し、データの代表性が向上する。
• ODEの内在的進化を用いることで、局所的なシステム特性を適応的に捉え、高次元空間におけるサンプリング非効率性を低減する。
• 進化したサンプル集合上で深層ニューラルネットワークをトレーニングし、状態遷移関数を学習させ、将来の状態を高速に予測可能にする。
• ODE進化を用いることで、長時間の軌道データの必要性を回避し、情報量が多くマルチスケールに注意を向けるトレーニングデータを生成する。
• CVODE、Canteraなどの既存のソルバと併用して、特に高分解能が求められる領域において反応速度計算を置き換える応用が可能である。

Figure 1: Schematic diagram of the DeePODE method. (A) Flowchart of DeePODE method. After obtaining a manifold dataset and an MC dataset, each point of the MC dataset is taken as the initial condition of a corresponding dynamical system. Sample along the evolution trajectory of MC data sparsely and

実験結果

リサーチクエスチョン

• RQ1 ODE進化サンプルでトレーニングされた深層学習代理モデルは、高次元マルチスケール系における多様な初期条件や複雑なダイナミカルレジームに一般化可能か？
• RQ2 高次元位相空間におけるマルチスケール情報を保持しつつ、次元の呪いを克服するためのサンプリング戦略はどのように設計できるか？
• RQ3 0Dおよび1DデータでトレーニングされたDNN代理モデルは、2Dおよび3Dの乱流燃焼ダイナミクスをどの程度正確に予測できるか？
• RQ4 サンプリングパイプラインにODE進化を統合することで、標準的なモンテカルロまたは一様サンプリングと比較して、データ効率とモデル精度が顕著に向上するか？
• RQ5 乱流炎やバッテリー電解質点火のような複雑系において、従来のODEソルバーよりもDeePODEが示す計算パフォーマンスの向上はどの程度か？

主な発見

• DeePODEは、0Dおよび1DデータでのみトレーニングされたDNN代理モデルを用いて、2Dおよび3D領域における乱流炎の正確なシミュレーションを可能にした。予測結果はCVODEの結果と一致した。
• Sandia Flame Dに対して、安定的かつ正確な予測が得られ、温度、O₂、CO₂、速度の径方向プロファイルがCVODEおよび実験データとよく一致した。
• DRM19において、1.5 msでの球状炎の温度分布を高い忠実度で捉えた。CVODE結果と同等の精度を示した。
• GPUを用いた反応速度計算の加速は1桁以上であり、GRIやnヘプタンのような大規模メカニズムでは2桁以上の高速化が達成された。
• 再トレーニングなしで、乱流燃焼や複雑な化学キネティクスといった未学習の条件に対しても、強力な一般化性能を示した。
• ODE進化サンプリング戦略により、ダイナミクスが遅い領域にサンプルが集中し、データ効率が向上し、高次元における測度の集中の影響が軽減された。

Figure 2: Two-dimensional predator-prey model. DNN prediction and direct integration results for $x_{1}$ from the initial value $x_{1}=3$ , $x_{2}=2$ . MC and MF represent Monte Carlo and manifold sampling methods, respectively.