[論文レビュー] Neural Controlled Differential Equations for Irregular Time Series

Patrick Kidger, James Morrill+2 more|arXiv (Cornell University)|May 18, 2020

Model Reduction and Neural Networks参考文献 64被引用数 154

ひとこと要約

不規則で部分的に観測される時系列データを制御微分方程式で更新する連続時間モデル Neural CDEs を導入し、メモリ効率的な adjoint バックプロパゲーションをサポート。ODE/RNN ベースラインの中で最先端の結果を達成。

ABSTRACT

Neural ordinary differential equations are an attractive option for modelling temporal dynamics. However, a fundamental issue is that the solution to an ordinary differential equation is determined by its initial condition, and there is no mechanism for adjusting the trajectory based on subsequent observations. Here, we demonstrate how this may be resolved through the well-understood mathematics of \emph{controlled differential equations}. The resulting \emph{neural controlled differential equation} model is directly applicable to the general setting of partially-observed irregularly-sampled multivariate time series, and (unlike previous work on this problem) it may utilise memory-efficient adjoint-based backpropagation even across observations. We demonstrate that our model achieves state-of-the-art performance against similar (ODE or RNN based) models in empirical studies on a range of datasets. Finally we provide theoretical results demonstrating universal approximation, and that our model subsumes alternative ODE models.

研究の動機と目的

• Neural ODEs がデータが不規則に到着する場合や部分的に観測される場合に直面する制限を動機づけて説明する。
• データ経路 X によって駆動される制御微分方程式を用いる Neural CDE フレームワークを提案する。
• 観察を跨ぐメモリ効率的な adjoint バックプロパゲーションを実証する。
• 普遍近似性の特性を確立し、実験的に ODE/RNN ベースラインと比較する。
• 不規則な時系列タスクの実装と評価に関する実践的な指針を提供する。

提案手法

• X を観測データを通じた自然三次スプライン経路として定義し、CDE の推進力とする。
• z_t = z_{t0} + ∫_{t0}^{t} f_theta(z_s) dX_s を z_{t0} = zeta_theta(x0, t0) によって定義する。
• ベクトル場と初期状態を学習するために neural network f_theta と zeta_theta を用いる。
• 観測を跨ぐ O(H) メモリの adjoint バックプロパゲーションを用いて訓練し、全体として O(L+H) メモリを実現する。
• X が微分可能な場合には Neural CDE を z_t = z_{t0} + ∫ g_theta,X(z_s, s) ds の形で書くことができ、標準的な ODE 求解器を可能にする。
• Neural CDEs が GRU-ODE のようなモデルを包含し、普遍近似性の結果を提供することを主張する。

実験結果

リサーチクエスチョン

• RQ1 不規則データに driven された連続時間モデルは、不規則性や部分観測がある時系列データに対して離散時間の RNN/ODE ベースのアプローチより優れているか。
• RQ2 Neural CDE フレームワークは観察を跨ぐメモリ効率的なバックプロパゲーションをサポートしつつ、精度を維持できるか。
• RQ3 Neural CDE は普遍近似性を持ち、他の ODE ベースのアプローチを包含するか。
• RQ4 観測強度チャネルと部分観察の取り扱いは、実世界データセットでの性能にどう影響するか。

主な発見

• Neural CDEs は不規則/部分的に観測されたデータセット（CharacterTrajectories, PhysioNet sepsis prediction）において、比較モデルの中で最先端の精度を達成し、メモリ効率性にも優れている。
• CharacterTrajectories で 30%、50%、70% のデータ欠落時に Neural CDE は 98.7% ± 0.8% の精度を達成し、メモリ使用量は約 1.3 MB、GRU-ODE、GRU-D、ODE-RNN、GRU-Δt を上回る。
• PhysioNet sepsis prediction では観測強度が精度を改善し、 Neural CDE は 0.880 ± 0.006 の AUC を 244 MB のメモリ（OI）で達成し、他のモデルは 0.776–0.833 MB（モデルと設定に依存）となる。
• Speech Commands での規則的サンプリングでは Neural CDE が 89.8% ± 2.5% の精度を達成し、いくつかの RNN/ODE ベースラインは性能が低く分散が大きい。
• Neural CDE はシーケンスの普遍的近似器であり、特定のパス形状関数を表現でき、他の ODE モデルを包含する。