[論文レビュー] Solving Differential Equations Using Neural Network Solution Bundles

Cedric Flamant, Pavlos Protopapas+1 more|arXiv (Cornell University)|Jun 17, 2020

Model Reduction and Neural Networks参考文献 18被引用数 18

ひとこと要約

この論文では、パラメータ化された常微分方程式（ODE）の複数の解を、初期条件やシステムパラメータが変化する中で、1つの微分可能モデル内で同時に学習するニューラルネットワークソリューションバンドルを提案する。初期条件とODEの満たしを強制する教師なし損失関数を用いて訓練することで、高速かつ並列評価が可能となり、微分可能となる。これにより、力学系におけるベイズ推論や不確実性伝播などのタスクが顕著に高速化される。

ABSTRACT

The time evolution of dynamical systems is frequently described by ordinary differential equations (ODEs), which must be solved for given initial conditions. Most standard approaches numerically integrate ODEs producing a single solution whose values are computed at discrete times. When many varied solutions with different initial conditions to the ODE are required, the computational cost can become significant. We propose that a neural network be used as a solution bundle, a collection of solutions to an ODE for various initial states and system parameters. The neural network solution bundle is trained with an unsupervised loss that does not require any prior knowledge of the sought solutions, and the resulting object is differentiable in initial conditions and system parameters. The solution bundle exhibits fast, parallelizable evaluation of the system state, facilitating the use of Bayesian inference for parameter estimation in real dynamical systems.

研究の動機と目的

• 複数の初期条件やパラメータに対してODEを数値的に統合する際の高い計算コストに対処すること。
• 通常のODEソルバの限界を克服すること。特に、時間方向に逐次的で並列化が難しい点。
• 再訓練なしに、多様な初期条件やパラメータに対して、効率的かつ微分可能なシステム状態の評価を可能にすること。
• 繰り返し解の評価が必要な応用、例えば力学系におけるベイズ推論や不確実性伝播を支援すること。
• メモリ効率が高く、並列化された際には従来のソルバと同等の速度を達成する、compactかつ再利用可能なODE解の表現を開発すること。

提案手法

• 時間$t$をパラメータとする、初期条件$\mathbf{x}_0$とパrameter$\bm{\theta}$の範囲におけるODE解の集合を、ソリューションバンドルとして定義する。
• 初期条件の満たしを保証するため、$a(t_0) = 0$を満たすニューラルネットワークの試行解$\hat{\mathbf{x}}(t; \mathbf{x}_0, \bm{\theta}) = \mathbf{x}_0 + a(t)\mathbf{N}(t; \mathbf{x}_0, \bm{\theta}; \mathbf{w})$を構築する。
• 真の解が不要な教師なし損失関数を用いて、ODEの違反と初期条件の違反をペナルティ化することでネットワークを訓練する。
• 自動微分を損失関数内で使用し、ODE構造を介してバックプロパゲーションが可能になるようにする。
• カリキュラム学習と重み付き損失関数を適用し、グローバル誤差と訓練の安定性を向上させる。
• 最終的なモデルが初期条件およびシステムパラメータに関して微分可能であることを保証し、勾配ベースの最適化が可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、多様な初期条件とパラメータを有するODE解の族を近似できるか？
• RQ2 提案されたソリューションバンドルアプローチは、ルンゲ・クッタのような逐次的数値ソルバと比較して、より高速かつ並列化可能か？
• RQ3 誤差と計算コストの観点から、ニューラルネットワークソリューションバンドルの精度は、従来のソルバ（例：RK4）およびルックアップテーブルと比べてどうか？
• RQ4 再訓練なしに、複数の応用にソリューションバンドルをどれだけ再利用できるか？
• RQ5 初期条件およびパラメータに関するソリューションバンドルの微分可能性は、ベイズ推論などの下流タスクに活用できるか？

主な発見

• ニューラルネットワークソリューションバンドルは、1評価あたりのFLOPsが少ないにもかかわらず、RK4と同等の精度を達成し、特に並列化された際には顕著に優れる。
• 調和振動子ODEの例では、32ノードのネットワークがテストセット全体で平均絶対誤差0.01未満を達成し、90％の誤差が狭いバンド内に収束した。
• ルックアップテーブルよりもメモリ効率に優れ、桁違いに少ない記憶領域で同等の精度を達成した。
• 多数の初期条件やパラメータに対して、システム状態の高速かつ並列評価が可能となり、高スルーレートタスクにおける計算時間を大幅に削減した。
• 訓練済みネットワークは初期条件およびパラメータに関して微分可能であり、逆問題やベイズ推論における勾配ベースの最適化が可能になった。
• 訓練の計算コストは、同じODEを多数の条件下で繰り返し解く場合に再利用されることで相殺され、スケールアップした際のコスト効率が高まった。