[論文レビュー] Neural ODE Processes

Alexander Norcliffe, Cristian Bodnar+3 more|arXiv (Cornell University)|Jan 1, 2021

Neural Networks and Applications参考文献 13被引用数 7

ひとこと要約

Neural ODE Processes (NDPs) は、Neural ODE と Neural Processes を組み合わせた確率的枠組みを導入し、動的で適応可能な時間系列のモデリングと不確実性推定を可能にする。データに依存するODEの分布を学習することで、NDPsは新しい観測値に迅速に適応でき、疎で不規則にサンプリングされたデータからでも妥当な軌道を捉えることができ、変動速度が異なるMNISTディジットを含む低次元および高次元の時間系列タスクにおいて、標準のNPsやNODEsを凌駕する性能を発揮する。

ABSTRACT

Neural Ordinary Differential Equations (NODEs) use a neural network to model the instantaneous rate of change in the state of a system. However, despite their apparent suitability for dynamics-governed time-series, NODEs present a few disadvantages. First, they are unable to adapt to incoming data points, a fundamental requirement for real-time applications imposed by the natural direction of time. Second, time series are often composed of a sparse set of measurements that could be explained by many possible underlying dynamics. NODEs do not capture this uncertainty. In contrast, Neural Processes (NPs) are a family of models providing uncertainty estimation and fast data adaptation but lack an explicit treatment of the flow of time. To address these problems, we introduce Neural ODE Processes (NDPs), a new class of stochastic processes determined by a distribution over Neural ODEs. By maintaining an adaptive data-dependent distribution over the underlying ODE, we show that our model can successfully capture the dynamics of low-dimensional systems from just a few data points. At the same time, we demonstrate that NDPs scale up to challenging high-dimensional time-series with unknown latent dynamics such as rotating MNIST digits.

研究の動機と目的

• 新しいデータが到着するたびにリアルタイムで予測を更新できないというNeural ODEの柔軟性の欠如に対処する。
• 疎なまたは不規則にサンプリングされた時間系列データしか入手できない状況下で、内在するダイナミクスの不確実性を捉える。
• 時間インデックス付きの確率過程をモデリングするため、Neural Processフレームワークに明示的な時間的インダクティブバイアスを統合する。
• 回転するMNISTディジットのような、潜在的な動的ダイナミクスを有する高次元時間系列のスケーラブルなモデリングを可能にする。
• 時間順序依存性や動的システムの挙動を扱えない標準NPsの制限を克服する。

提案手法

• 動的ダイナミクスがNeural ODEの分布によって制御される確率的過程を定義し、そのパラメータは文脈点によって決定される。
• 文脈点をニューラルネットワークで符号化し、初期状態（L0）およびODEの導関数関数（D）の潜在分布を推論する。
• ODEの潜在分布からサンプリングすることで、複数の妥当な軌道を生成し、それぞれが整合的な解を表す。
• サンプリングされた初期状態および導関数関数を条件としてODEの統合を実行し、ターゲット時刻における状態をデコードする。
• アモアタイズド変分推論を用いて、文脈点に対して置換不変なエンコーダを備えたモデルをエンドツーエンドで訓練する。
• NPのインダクティブバイアスを活用しつつ、ODE統合による時間に敏感なダイナミクスを組み込むことで、スケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 Neural ODEの動的モデリング能力と、Neural Processesの不確実性推定および迅速な適応能力を併せ持つモデルは構築可能か？
• RQ2 このようなモデルは、標準のNODEsやNPsと比較して、疎で不規則にサンプリングされた時間系列データをどれほど効果的に処理できるか？
• RQ3 時間の連続的かつ順序的な変数としての時間の明示的モデリングは、潜在的なダイナミクスを有する時間系列において性能向上をもたらすか？
• RQ4 複雑で非自明な内在ダイナミクスを有する高次元時間系列にも、このフレームワークはスケーラブルに適用可能か？
• RQ5 特に各サンプル間でダイナミクスが異なる場合に、モデルは訓練時間範囲外の外挿予測においてどの程度の性能を示すか？

主な発見

• NDPsはわずかな文脈点からも複数の妥当なダイナミクスを捉えることができ、低次元系における不確実性を考慮したモデリングの有効性を示した。
• 変動速度が異なるMNISTタスクでは、NDPsは未学習の時間範囲に一般化し、変動する角速度を持つディジットを正確に再構築できるが、標準NPsは再構築もしくは補間に失敗する。
• 50エポックの学習しか行わなかったにもかかわらず、NDPsは500エポック学習したNPsよりも低い訓練損失を達成しており、収束が早く最適化効率も優れていることを示している。
• NDPsは合成1次元および2次元系、および回転MNISTのような高次元タスクにおいても強力な性能を維持しており、スケーラビリティとロバストネスを示している。
• ODEのダイナミクスを任意の文脈集合に条件づける能力により、ODE2VAE や標準NODEsとは異なり、観測された任意のデータポイントに動的に適応可能である。
• NDPsは外挿タスクにおいてNPsを上回り、明示的な時間的インダクティブバイアスが訓練時間ウィンドウを超えた一般化性能を顕著に向上させることを実証した。