[論文レビュー] Theoretical Guarantees for Learning Conditional Expectation using Controlled ODE-RNN.

Calypso Herrera, Florian Krach+1 more|arXiv (Cornell University)|Jun 8, 2020

Model Reduction and Neural Networks参考文献 16被引用数 4

ひとこと要約

本稿では、確率過程の条件付き期待値のデータ駆動学習を可能にする、制御付きODE-RNNと呼ばれるニューラルネットワークアーキテクチャを提案する。このアーキテクチャは、ニューラル常微分方程式（neural ODE）と離散的ジャンプを組み合わせ、再帰的ニューラルネットワークの潜在状態をモデル化する。正則性条件下では、モデルの出力過程が真の条件付き期待値過程に理論的に収束することが証明されている。

ABSTRACT

Continuous stochastic processes are widely used to model time series that exhibit a random behaviour. Predictions of the stochastic process can be computed by the conditional expectation given the current information. To this end, we introduce the controlled ODE-RNN that provides a data-driven approach to learn the conditional expectation of a stochastic process. Our approach extends the ODE-RNN framework which models the latent state of a recurrent neural network (RNN) between two observations with a neural ordinary differential equation (neural ODE). We show that controlled ODEs provide a general framework which can in particular describe the ODE-RNN, combining in a single equation the continuous neural ODE part with the jumps introduced by RNN. We demonstrate the predictive capabilities of this model by proving that, under some regularities assumptions, the output process converges to the conditional expectation process.

研究の動機と目的

• 時系列モデリングにおける確率過程の条件付き期待値をデータ駆動的に学習するための手法を開発すること。
• 連続的ダイナミクスと離散的ジャンプを統合する制御付きODEを組み込んだODE-RNNフレームワークを拡張すること。
• モデルの出力が真の条件付き期待値過程に収束するための理論的保証を提供すること。
• 連続的ニューラルODEダイナミクスとRNN由来のジャンプを1つの式に統合する一般化されたフレームワークを確立すること。

提案手法

• 制御付きODE-RNNは、観測間の潜在状態の進化を、現在の入力と前の隠れ状態に依存する制御入力を有するニューラルODEでモデル化する。
• このフレームワークは、ニューラルODEによる連続時間ダイナミクスと、RNN遷移による離散的ジャンプを統合し、制御付きストキャスティック微分方程式を通じて形式化される。
• 各時刻で、現在の入力と前の隠れ状態に依存する制御付きODEを統合することで、潜在状態が更新される。
• モデルは、観測時刻における不連続な更新を模倣するため、状態進化に連続時間フローを用いる。
• 理論的分析は、制御付きODEのドリフト関数および制御関数の正則性仮定に依存し、収束を保証する。
• アーキテクチャにより、条件付き期待値を近似するためのニューラルネットワークパラメータのエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEとRNNを組み合わせたニューラルネットワークアーキテクチャは、データ駆動的に確率過程の条件付き期待値を学習できるか？
• RQ2 連続時間ダイナミクスと離散的RNN更新を、1つの数学的枠組み内でどのように正式に統合できるか？
• RQ3 制御付きODE-RNNの出力が真の条件付き期待値過程に収束する条件は何か？
• RQ4 このようなハイブリッドモデルの予測性能に対して、どのような理論的保証を確立できるか？

主な発見

• 制御付きODE-RNNは、ニューラルODEによる連続的潜在ダイナミクスとRNN更新由来の離散的ジャンプを両方モデル化する統合フレームワークを提供する。
• モデルの構成要素に適切な正則性条件が課されれば、制御付きODE-RNNの出力過程は真の条件付き期待値過程に収束する。
• 制御付きODEを組み込むことで、ODE-RNNが連続的フローと離散的遷移の相互作用を明示的にモデル化する点で一般化される。
• 理論的分析により、モデルが条件付き期待値を一貫して学習できることを確認し、不確実性下での信頼性の高い時系列予測の基盤が確立される。