[論文レビュー] Learning Continuous-Time Dynamics by Stochastic Differential Networks

Yingru Liu, Yucheng Xing+5 more|arXiv (Cornell University)|Jun 11, 2020

Neural Networks and Applications参考文献 26被引用数 4

ひとこと要約

本稿では、確率的微分方程式（SDEs）と変分推論を用いて、不規則でスパースな時系列データにおける連続時間の確率的ダイナミクスをモデル化する深層学習フレームワーク、変分確率的微分ネットワーク（VSDN）を提案する。連続時間のVAEおよびIWAE損失を組み込むことで、Double-OU や USHCN などの合成および実世界のデータセットにおいて、予測および補間タスクで最先端の性能を達成し、LatentODE や ODE-RNN などの既存モデルを上回る。

ABSTRACT

Learning continuous-time stochastic dynamics is a fundamental and essential problem in modeling sporadic time series, whose observations are irregular and sparse in both time and dimension. For a given system whose latent states and observed data are high-dimensional, it is generally impossible to derive a precise continuous-time stochastic process to describe the system behaviors. To solve the above problem, we apply Variational Bayesian method and propose a flexible continuous-time stochastic recurrent neural network named Variational Stochastic Differential Networks (VSDN), which embeds the complicated dynamics of the sporadic time series by neural Stochastic Differential Equations (SDE). VSDNs capture the stochastic dependency among latent states and observations by deep neural networks. We also incorporate two differential Evidence Lower Bounds to efficiently train the models. Through comprehensive experiments, we show that VSDNs outperform state-of-the-art continuous-time deep learning models and achieve remarkable performance on prediction and interpolation tasks for sporadic time series.

研究の動機と目的

• 不規則でスパースな観測を持つシステムにおける連続時間の確率的ダイナミクスをモデル化する課題に対処すること。
• 多変量時系列における非線形的かつ確率的な依存関係を捉えることが可能な柔軟な深層学習アーキテクチャの開発。
• VAE および IWAE 目的関数を用いて、連続時間の状態空間モデルへの変分推論を拡張し、効率的な学習を実現すること。
• 潜在状態軌道と確率性を組み込むことで、従来のニューラルODEベースのモデルを改善し、より良い一般化性能を達成すること。
• 欠落した次元や不規則なサンプリングを伴う実世界のスパース時系列データにおいて、優れた性能を示すこと。

提案手法

• SDEを用いて潜在状態ダイナミクスをモデル化する連続時間の確率的再帰ニューラルネットワークである変分確率的微分ネットワーク（VSDN）を提案する。
• 学習のための連続時間の変分自己符号化器（VAE）および重要度重み付き自己符号化器（IWAE）の下界の変種を導入する。
• 2つの微分型エビデンス下界（ELBO）を用いて、確率的勾配降下法を効率的に最適化する。
• 2つのVSDNバージョン、VSDN-F（フィルタリング）およびVSDN-S（スムージング）を設計し、推論モデル構造の違いで特徴づける。
• SDEのドリフトおよび拡散関数を深層ニューラルネットワークでパラメータ化し、非線形ダイナミクスのモデル化を可能にする。
• 勾配計算に確率的随伴法を適用し、SDEベースのアーキテクチャのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパースかつ不規則な観測からの連続時間の確率的ダイナミクスを効果的にモデル化できる深層ニューラルネットワークアーキテクチャは存在するか？
• RQ2 SDEベースのモデルの最適化において、連続時間のVAE損失とIWAE損失はどのように比較されるか？
• RQ3 潜在状態軌道を組み込むことで、決定的ODEベースのアプローチと比較してモデル化能力が向上するか？
• RQ4 VSDNは、欠損次元や不規則なサンプリングを伴う実世界のスパース時系列データに一般化可能か？
• RQ5 重要度重み付き学習目的関数を用いることで、モデル性能および不確実性推定にどのような影響を与えるか？

主な発見

• VSDN-F および VSDN-S は、LatentODE や LatentSDE、GRU-ODE、ODE-RNN などの最先端モデルを上回り、予測および補間タスクで優れた性能を示した。
• Double-OU データセットでは、VSDN-S（VAE）がテストNLL -1.145 ± 0.013 およびMSE 0.0065 ± 0.0002 を達成し、LatentODE（NLL: 0.351 ± 0.023）を顕著に上回った。
• USHCN データセットでは、VSDN-S（IWAE）が最低のNLL（0.654 ± 0.084）およびMSE（0.381 ± 0.058）を達成し、ODE-RNN や他のベースラインを上回った。
• サンプル軌道数が少ない場合、特に初期学習段階で、IWAE損失はVAE損失よりもタイトな下界を提供し、より優れた性能を示した。
• VSDN-S（VAE）は、ELBOがゆるいことから、VSDN-F よりも収束に多くの訓練エポックを要し、より高い学習難易度を示した。
• 本モデルは、高次元でスパースかつ不規則なデータに対してもロバストであることが示され、実世界の気象データや人間の運動シーケンスにも適用可能であった。