[論文レビュー] ODE2VAE: Deep generative second order ODEs with Bayesian neural networks

Çağatay Yıldız, Markus Heinonen+1 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 60

ひとこと要約

ODE2VAEは、高次元時系列データから連続時間の潜在的ダイナミクスを学習するために、ベイジアンニューラルネットワークを用いた2階常微分方程式（ODE）を用いる深層生成モデルを提案する。確率的潜在ODEフレームワーク内で運動量と位置を明示的にモデル化することで、モーショングラフ、画像回転、バックスプリングボールのデータセットにおいて、長期予測とデータ補完の分野で最先端の性能を達成した。

ABSTRACT

We present Ordinary Differential Equation Variational Auto-Encoder (ODE2VAE), a latent second order ODE model for high-dimensional sequential data. Leveraging the advances in deep generative models, ODE2VAE can simultaneously learn the embedding of high dimensional trajectories and infer arbitrarily complex continuous-time latent dynamics. Our model explicitly decomposes the latent space into momentum and position components and solves a second order ODE system, which is in contrast to recurrent neural network (RNN) based time series models and recently proposed black-box ODE techniques. In order to account for uncertainty, we propose probabilistic latent ODE dynamics parameterized by deep Bayesian neural networks. We demonstrate our approach on motion capture, image rotation, and bouncing balls datasets. We achieve state-of-the-art performance in long term motion prediction and imputation tasks.

研究の動機と目的

• 構造化された潜在空間を用いて、高次元時系列データにおける複雑な連続的ダイナミクスをモデル化すること。
• 2階ODEフレームワークで運動量と位置を明示的にモデル化することで、長期的なモーショングラフ予測とデータ補完を改善すること。
• 深層ベイジアンニューラルネットワークを用いて、潜在ダイナミクスにおける不確実性の定量化を統合すること。
• RNN やブラックボックス ODE の手法に起因する制限を克服し、2階ダイナミクスによる物理的妥当性の強制によって、より自然なダイナミクスを実現すること。
• モーショングラフや画像回転などのベンチマーク時系列データタスクにおいて、最先端の性能を示すこと。

提案手法

• モデルは潜在空間を運動量と位置の成分に分解し、連続的ダイナミクスを記述する2階ODE系を構築する。
• ODEのダイナミクスを深層ベイジアンニューラルネットワークでパラメータ化し、学習されたダイナミクスにおける不確実性をモデル化する。
• 変分オートエンコーダー（VAE）の目的関数を用いて、エンコーダーとデコーダーをエンドツーエンドで訓練し、再構成誤差と事前分布正則化の両方を最適化する。
• スチューレティック勾配変分ベイズ（SGVB）を用いて近似事後分布推論を実行し、高次元時系列データに対するスケーラブルな学習を可能にする。
• 2階ODEの定式化により、1階ODEやRNNと比較して、より表現力が高く物理的に解釈可能なダイナミクスを実現できる。
• 時間の前向きまたは後向きに学習されたODEを解くことで、生成と補完の両方の時系列データ処理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 2階ODEに基づく潜在モデルは、1階ODEやRNNと比較して、複雑な時系列ダイナミクスのモデリングにおいて優れた性能を示せるか？
• RQ2 潜在ODEのベイジアンニューラルネットワークによるパラメータ化は、高次元時系列データにおける不確実性を適切に扱えるか？
• RQ3 運動量と位置の明示的分解は、長期的なモーショングラフ予測とデータ補完を向上させられるか？
• RQ4 2階ODE構造は、学習されたダイナミクスの解釈可能性と一般化性能をどの程度向上させるか？
• RQ5 提案されたODE2VAEフレームワークは、ベンチマーク時系列データタスクで最先端の性能を達成できるか？

主な発見

• ODE2VAEは、モーショングラフおよび画像回転データセットにおいて、長期的なモーショングラフ予測で最先端の性能を達成した。
• モデルは優れたデータ補完能力を示し、時系列軌道における欠損セグメントを効果的に回復できた。
• 2階ODEとベイジアンニューラルネットワークの組み合わせにより、潜在ダイナミクスにおける正確な不確実性の定量化が可能になった。
• 運動量と位置の明示的分解により、1階モデルと比較して、より安定的で物理的に妥当な潜在軌道が得られた。
• フレームワークは、モーショングラフ、画像回転、バックスプリングボールを含む多様な時系列データタイプに良好に一般化した。
• 深層ベイジアンネットワークのODE2VAEフレームワークへの統合により、ノイズが多いか不完全な観測に対しても、より頑健な性能が得られた。