[論文レビュー] Neural Laplace: Learning diverse classes of differential equations in the Laplace domain

Samuel Holt, Zhaozhi Qian+1 more|arXiv (Cornell University)|Jun 10, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

Neural Laplace は、ニューラルネットワークを用いてラプラス領域における解を学習することにより、ODE、DDE、IDE、剛性および駆動付きODEを含む多様な微分方程式を統一的にモデル化する深層学習フレームワークを提案する。逆ラプラス変換とステレオグラフィック射影を活用することで、複素ラプラス領域をコンパクト化し、履歴依存性、不連続性、剛性を有する系の正確で安定的かつ効率的なモデリングおよび外挿が可能となり、標準的なNeural ODEよりも精度と推論速度で優れる。

ABSTRACT

Neural Ordinary Differential Equations model dynamical systems with ODEs learned by neural networks. However, ODEs are fundamentally inadequate to model systems with long-range dependencies or discontinuities, which are common in engineering and biological systems. Broader classes of differential equations (DE) have been proposed as remedies, including delay differential equations and integro-differential equations. Furthermore, Neural ODE suffers from numerical instability when modelling stiff ODEs and ODEs with piecewise forcing functions. In this work, we propose Neural Laplace, a unified framework for learning diverse classes of DEs including all the aforementioned ones. Instead of modelling the dynamics in the time domain, we model it in the Laplace domain, where the history-dependencies and discontinuities in time can be represented as summations of complex exponentials. To make learning more efficient, we use the geometrical stereographic map of a Riemann sphere to induce more smoothness in the Laplace domain. In the experiments, Neural Laplace shows superior performance in modelling and extrapolating the trajectories of diverse classes of DEs, including the ones with complex history dependency and abrupt changes.

研究の動機と目的

• 長距離依存性、不連続性、剛性を有する系をモデル化する際のNeural ODEの限界を解消すること。
• ODE、DDE、IDE、および駆動付き／剛性ODEを含む多様な微分方程式クラスを、1つのディープラーニングフレームワークで統一的にモデル化すること。
• 局所的数値的ODEソルバーを回避することで、グローバルな逆ラプラス変換を用いて、学習および推論の効率を向上させること。
• 複素平面をコンパクトなリーマン球に写像するステレオグラフィック射影を用いることで、ラプラス領域における学習の安定性を向上させること。
• 事前にODE、DDE、IDEの構造を指定せず、データ駆動的かつ暗黙的に基礎となる微分方程式クラスを同定できること。

提案手法

• フレームワークは、初期条件を p ∈ ℝ^K で符号化したものを入力とし、複素変数 s をとるニューラルネットワーク gβ を用いて、系の解のラプラス変換 F(s) をモデル化する。
• 複素ラプラス変数 s ∈ ℂ をコンパクトなリーマン球に写像するステレオグラフィック射影を適用し、無限大における特異性を除去し、学習に適した幾何的滑らかさを向上させる。
• 時間領域における解 x(t) は、複素指数関数のグローバルな和を用いた逆ラプラス変換により再構成され、数値的ODEソルバーを回避する。
• 予測された軌道と真の軌道との間の平均二乗誤差を最小化するように、エンド・ツー・エンドにモデルを訓練する。
• 変換領域における F(s) の構造を学習することにより、遅れ、積分、区分的駆動といった多様なダイナミクスが暗黙的に捉えられる。
• 反復的ODEソルバーを用いずに、任意の将来時刻 t における逆ラプラス変換を評価することで、外挿が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークアーキテクチャが、ODE、DDE、IDE、および剛性／駆動付きODEを含む複数の微分方程式クラスを効果的に学習し一般化できるか？
• RQ2 ステレオグラフィック射影を用いたラプラス領域におけるモデリングは、時間領域での学習と比較して、学習の安定性および一般化性能を向上させるか？
• RQ3 急激な変化や導関数の不連続性を有する系を、滑らかさが強制されるスムーズなNeural ODEではうまく捉えられないが、このフレームワークはそれらを正確にモデル化できるか？
• RQ4 外挿における関数評価回数（NFE）の観点から、Neural Laplace の推論効率は、標準的なNeural ODE よりも優れているか？
• RQ5 初期条件埋め込みの次元 K の選択が、モデル性能に与える影響はどの程度か？

主な発見

• ステレオグラフィック射影を用いることで、ベースライン手法と比較してテスト時のRMSEが1桁低減され、ラプラス領域における学習の安定化効果が明確に示された。
• 標準的なNeural ODE やLatent ODEは滑らかさが強制されるため、剛性ODEにおける導関数の不連続性や周期的挙動を捉えられないが、Neural Laplace はそれらを成功裏に捉えている。
• Neural Laplace は、任意の将来時刻における解を評価するのに1回の順伝播のみを要するが、ODEベースの手法は時間とともにスケーリングが悪く、100秒の外挿において最大1000倍少ないNFEを要する。
• 1エポックあたりの学習速度が、ODEベースのベースラインと比較して少なくとも1桁速く、収束性能は同等またはそれ以上である。
• 埋め込み次元 K の選択に対して性能が安定しており、K ≥ 2 で安定した結果が得られ、このハイパーパrameterへの感受性が低いことが示された。
• 事前にODE、DDE、IDEの構造を指定せず、データから暗黙的に正しい微分方程式クラスを学習していることが確認された。