[論文レビュー] Inverse modified differential equations for discovery of dynamics

Aiqing Zhu, Pengzhan Jin+2 more|arXiv (Cornell University)|Sep 2, 2020

Model Reduction and Neural Networks参考文献 60被引用数 6

ひとこと要約

本稿では、ODE-netを用いたデータ駆動型力学系同定における挙動と誤差を厳密に分析するために、逆修正微分方程式（IMDE）を導入する。学習されたニューラルネットワークのベクトル場を摂動系の近似とみなすことにより、著者らは、学習済みの力学系と真の力学系との差が、離散的積分誤差と学習損失の和によって有界であることを証明する。さらに、形式的IMDE級数の切断によって、その乖離を指数関数的以下に小さくできることが示される。

ABSTRACT

The combination of numerical integration and deep learning, i.e., ODE-net, has been successfully employed in a variety of applications. In this work, we introduce inverse modified differential equations (IMDE) to contribute to the behaviour and error analysis of discovery of dynamics using ODE-net. It is shown that the difference between the learned ODE and the truncated IMDE is bounded by the sum of learning loss and a discrepancy which can be made sub exponentially small. In addition, we deduce that the total error of ODE-net is bounded by the sum of discrete error and learning loss. Furthermore, with the help of IMDE, theoretical results on learning Hamiltonian system are derived. Several experiments are performed to numerically verify our theoretical results.

研究の動機と目的

• ODE-netを用いたデータ駆動型力学系同定における挙動と誤差を厳密に分析する理論的枠組みを提供すること。
• 現在のODE-netおよびLMNetやHNNなどの類縁アーキテクチャにおいて、形式的な収束性および安定性解析が欠如している問題に対処すること。
• ODE-netにおける学習済みベクトル場が摂動系（IMDE）を近似することを確立し、正確な誤差推定を可能にすること。
• ハミルトニアン系における保存則の保持について、シンプレクティック積分法がIMDEに構造を保つのに対し、非シンプレクティック法は保たないことを示すこと。
• 学習済み力学系と真の力学系との間の誤差に定量的な境界を導出し、離散的誤差と学習損失の成分に分離すること。

提案手法

• 標準の修正微分方程式の手法とは逆に、ODEを数値解に合わせて摂動させるのでなく、訓練済みODE-netが近似する摂動系を同定する。この手法により逆修正微分方程式（IMDE）を導入する。
• 形式的級数展開を用いて、一般の1段階および線形多段法のIMDEを導出し、ルンゲ＝クッタ法の合成が基本法と同じIMDEをもたらすことを示す。
• 解析的仮定の下で形式的IMDE級数の切断理論を適用し、剰余項がステップサイズ $ h $ に関して指数関数的以下に小さくできると証明する。
• IMDEフレームワークを活用して、ODE-netにおける総誤差を離散誤差（$ Ch^p $）と学習損失に分解し、両者の明示的境界を導出する。
• IMDEを用いてハミルトニアン系を分析し、シンプレクティック積分法がIMDEにおいてハミルトニアン構造を保つのに対し、非シンプレクティック法は保たないことを示す。
• 線形多段法（LMNet）におけるIMDEの再帰的公式を確立し、その近似特性の理論的分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ODE-netの訓練中における真のターゲットは何か？ そしてそれは元の真の力学系とどのように関係しているか？
• RQ2 ODE-netに基づく力学系同定における誤差を厳密に分解・有界化することは可能か？
• RQ3 IMDEフレームワークは、特定の積分法がハミルトニアン系における保存則を保持できない理由を説明できるか？
• RQ4 形式的IMDE級数の切断によって、学習済みベクトル場と真のベクトル場との乖離をどの程度制御できるか？
• RQ5 ハミルトニアン系においてシンプレクティック積分法を使用した場合、IMDEフレームワークにおいてより構造的に一貫した近似が得られるか？

主な発見

• 学習済みODE-netベクトル場 $ f_{\text{net}} $ と切断IMDE $ f_h^N $ の差は、学習損失と、ステップサイズ $ h $ に関して指数関数的以下に小さくできる乖離の和によって有界である。
• 真のベクトル場 $ f $ と $ f_{\text{net}} $ の間の総誤差は、$ c_2 h^p + C \mathcal{L} $ によって有界であり、ここで $ h^p $ は数値積分法の離散誤差、$ \mathcal{L} $ は学習損失を表す。
• 非シンプレクティック積分法では、ODE-netおよびLMNetが保存則を学習できない。これは、IMDEが元の構造を保たないためである。
• ハミルトニアン系でシンプレクティック積分法を使用した場合、IMDEはハミルトニアンのままであり、このような積分法を用いたHNNはほぼ確実に近似ターゲットを持つ。
• 形式的IMDE級数の切断により、$ c_1 e^{-\gamma / h^{1/q}} $ の形の誤差境界が得られ、これは $ h $ に関していかなる多項式よりも速く減少する。
• IMDEによる誤差解析フレームワークは、ODEベースのモデルにおける数値積分と深層学習の相互作用を統一的に定量化する手段を提供する。