[論文レビュー] On Neural Differential Equations

Patrick Kidger|arXiv (Cornell University)|Feb 4, 2022

Computational Physics and Python Applications被引用数 120

ひとこと要約

NDEsを含む neural differential equations に関する包括的な博士論文 — neural ODEs、neural CDEs、neural SDEs を含む。 理論、アーキテクチャ、数値法、応用を扱う。

ABSTRACT

The conjoining of dynamical systems and deep learning has become a topic of great interest. In particular, neural differential equations (NDEs) demonstrate that neural networks and differential equation are two sides of the same coin. Traditional parameterised differential equations are a special case. Many popular neural network architectures, such as residual networks and recurrent networks, are discretisations. NDEs are suitable for tackling generative problems, dynamical systems, and time series (particularly in physics, finance, ...) and are thus of interest to both modern machine learning and traditional mathematical modelling. NDEs offer high-capacity function approximation, strong priors on model space, the ability to handle irregular data, memory efficiency, and a wealth of available theory on both sides. This doctoral thesis provides an in-depth survey of the field. Topics include: neural ordinary differential equations (e.g. for hybrid neural/mechanistic modelling of physical systems); neural controlled differential equations (e.g. for learning functions of irregular time series); and neural stochastic differential equations (e.g. to produce generative models capable of representing complex stochastic dynamics, or sampling from complex high-dimensional distributions). Further topics include: numerical methods for NDEs (e.g. reversible differential equations solvers, backpropagation through differential equations, Brownian reconstruction); symbolic regression for dynamical systems (e.g. via regularised evolution); and deep implicit models (e.g. deep equilibrium models, differentiable optimisation). We anticipate this thesis will be of interest to anyone interested in the marriage of deep learning with dynamical systems, and hope it will provide a useful reference for the current state of the art.

研究の動機と目的

• 動的システムと深層学習を結びつける役割を持つ neural differential equations の詳細な調査を提供する。
• neural ODEs、neural CDEs、neural SDEs を、設定、利点、および典型的なアーキテクチャを含めて説明する。
• 数値的方法、微分方程式を介した誤差伝播、及び関連する暗黙的モデルを調査する。
• 時系列、物理モデリング、生成モデリングへの応用を、実用的なツールとともに論じる。
• NDE 分野の限界と今後の方向性を明示する。

提案手法

• ニューラル微分方程式を、ベクトル場 fθ におけるニューラルネットワークによってパラメータ化された微分方程式として定義する。
• neural ODEs、neural CDEs、neural SDEs をコアモデルとして提示し、それらの存在、訓練、評価について論じる。
• neural ODEs および CDEs の拡張、非自動性、補間戦略を説明する。
• 数値解法、ODES/CDEs/SDEs を介した誤差逆伝播、可逆解法およびハイソルバーを詳述する。
• 拡張モデルと非拡張モデルの普遍近似性の結果、およびCDEsの不変性について論じる。
• 実践的なソフトウェアツール（例：Diffrax、torchdiffeq、torchcde、torchsde）と実験設定を概説する。

実験結果

リサーチクエスチョン

• RQ1 伝統的なモデルに対する neural differential equations の理論的・実践的利点は何か？
• RQ2 neural ODEs、neural CDEs、neural SDEs は、定式化、訓練、応用の点でどのように異なるか？
• RQ3 NDE を訓練するために効果的な数値法と逆伝播戦略は何か？
• RQ4 データ要件や速度の観点で、NDE の制限とトレードオフは何か？

主な発見

• NDE はニューラルネットワークと微分方程式モデリングを統合し、連続深度アーキテクチャと不規則データの取り扱いを可能にする。
• 拡張ニューラルODEは、基底ベクトル場が普遍近似器でなくても普遍近似を達成する。
• Neural CDEs は不規則な時系列に対して普遍近似を提供し、RNNの離散化と関連する。
• Neural SDEs は複雑な確率的ダイナミクスの生成モデリングとサンプリングを可能にし、GANベースや潜在SDEなど、さまざまな訓練基準を持つ。
• NDE の効率的で正確な勾配は、最適化された誤差逆伝播戦略と可逆解法により達成される。