[論文レビュー] Neural Jump Ordinary Differential Equations: Consistent Continuous-Time Prediction and Filtering

Calypso Herrera, Florian Krach+1 more|arXiv (Cornell University)|Jun 8, 2020

Neural Networks and Applications参考文献 31被引用数 8

ひとこと要約

本稿では、不規則にサンプリングされた確率過程の$L^2$最適予測を、ニューラルODEと離散観測駆動型ジャンプを組み合わせることで学習する連続時間モデルであるNeural Jump ODE (NJ-ODE) を提案する。理論的収束保証を初めて提供し、合成データおよび実世界のデータセットにおいて、GRU-ODE-Bayes や ODE-RNN よりも理論的・実践的に優れた性能を発揮する。

ABSTRACT

Combinations of neural ODEs with recurrent neural networks (RNN), like GRU-ODE-Bayes or ODE-RNN are well suited to model irregularly observed time series. While those models outperform existing discrete-time approaches, no theoretical guarantees for their predictive capabilities are available. Assuming that the irregularly-sampled time series data originates from a continuous stochastic process, the $L^2$-optimal online prediction is the conditional expectation given the currently available information. We introduce the Neural Jump ODE (NJ-ODE) that provides a data-driven approach to learn, continuously in time, the conditional expectation of a stochastic process. Our approach models the conditional expectation between two observations with a neural ODE and jumps whenever a new observation is made. We define a novel training framework, which allows us to prove theoretical guarantees for the first time. In particular, we show that the output of our model converges to the $L^2$-optimal prediction. This can be interpreted as solution to a special filtering problem. We provide experiments showing that the theoretical results also hold empirically. Moreover, we experimentally show that our model outperforms the baselines in more complex learning tasks and give comparisons on real-world datasets.

研究の動機と目的

• 不規則にサンプリングされた時系列データに対する既存モデル（GRU-ODE-Bayes や ODE-RNN）に理論的保証が欠如している問題に対処すること。
• 確率過程のオンライン予測およびフィルタリングを連続時間学習問題として形式化すること。
• 観測間の$L^2$最適条件付き期待値を学習するデータ駆動型モデルの開発。
• 連続時間予測の収束証明を可能にする新しいトレーニングフレームワークの確立。
• 理論的収束が複雑なタスクおよび実世界データにおいて、性能向上にどのように対応するかを経験的に検証すること。

提案手法

• NJ-ODE は、ニューラルODEを用いて観測間の潜在状態の連続的変化をモデル化し、滑らかなダイナミクスを保証する。
• 各観測時刻において、新しい観測に基づいて潜在状態を更新する「ジャンプ」を実行し、最新の情報を記憶する。
• トレーニングは、訓練シーケンスの両半分を含む完全なパスデータを活用する、新しい教師なしフレームワークを用いる。
• 欠損観測に対処するために自己補完（self-imputation）が適用され、観測マスクがネットワークの入力として供給される。
• 潜在状態の共有埋め込みと、ODEのドリフト項を予測する別個のニューラルネットワークをアーキテクチャが採用する。
• トレーニング目的関数により、モデルの出力が期待値$\mathbb{E}[X_{t+s} \mid X_t = x_t]$に期待値として収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 観測駆動型ジャンプを有するニューラルODEベースのモデルは、不規則にサンプリングされた確率過程における$L^2$最適予測へ理論的収束を達成できるか？
• RQ2 提案されたトレーニングフレームワークは、GRU-ODE-Bayes や ODE-RNN が欠落していた収束保証を可能にするか？
• RQ3 実世界および合成データにおける長期間予測精度の観点から、潜在ODE や ODE-RNN などのベースラインと比較して、本モデルの性能はどの程度か？
• RQ4 経路履歴を明示的にモデル化しないまま、複雑でマルコフ的でない依存関係に対しても一般化可能か？
• RQ5 隠れ層サイズやトレーニングスケジュールなどのアーキテクチャ的選択が、収束性および予測精度に与える影響は何か？

主な発見

• NJ-ODE は理論的収束を$L^2$最適予測へ達成し、そのような保証を持つ最初のモデルである。
• PhysioNet データセットでは、より大きなアーキテクチャを用いてテストMSEが$1.934 \pm 0.007 \times 10^{-3}$を達成し、ベースラインの潜在ODEおよび先行手法を上回った。
• ブラック・ショールズ、オルンシュタイン＝ウーレン、ヘストンのモデルを含む多様な確率過程において、モデルの性能が安定であることが視覚的比較で示された。
• 最小限のハイパーパramータチューニングでも、教師あり再構成目的で訓練されたモデルと同等またはそれ以上の性能を発揮した。
• 完全なパスを用いた教師なしトレーニングフレームワークは、分割されたシーケンスで訓練されたモデルよりも優れた一般化性能を実現した。
• 経験的結果から、理論的収束が長期間予測タスクにおいて特に顕著な性能向上に結びつくことが確認された。