[論文レビュー] ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks

Çağatay Yıldız, Markus Heinonen+1 more|arXiv (Cornell University)|May 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 62

ひとこと要約

ODE2VAE は、潜在空間の二次オーダー ODE ダイナミクスをベイズ神経網で学習し、潜在空間を位置と速度に分解して高次元の時系列データをモデル化し、長期予測と補完を改善します。

ABSTRACT

We present Ordinary Differential Equation Variational Auto-Encoder (ODE$^2$VAE), a latent second order ODE model for high-dimensional sequential data. Leveraging the advances in deep generative models, ODE$^2$VAE can simultaneously learn the embedding of high dimensional trajectories and infer arbitrarily complex continuous-time latent dynamics. Our model explicitly decomposes the latent space into momentum and position components and solves a second order ODE system, which is in contrast to recurrent neural network (RNN) based time series models and recently proposed black-box ODE techniques. In order to account for uncertainty, we propose probabilistic latent ODE dynamics parameterized by deep Bayesian neural networks. We demonstrate our approach on motion capture, image rotation and bouncing balls datasets. We achieve state-of-the-art performance in long term motion prediction and imputation tasks.

研究の動機と目的

• 高次元の時系列データに対して確率的で連続時間の潜在ダイナミクスモデルを提供する。
• 潜在空間を位置と速度に分解し、二次のダイナミクスを捉える。
• 不確かなダイナミクスをモデル化し過学習を防ぐために、ベイズニューラルネットワークを組み込む。
• 変分推論を介して最適化し、初期潜在状態・ダイナミクス・再構成を共同で学習する。
• モーションキャプチャ、回転MNIST、および跳ねるボールのデータセットで最先端の結果を示す。

提案手法

• 位置 s_t と速度 v_t を用いた潜在空間に二次オーダー ODE を導入する。
• 重み W に対してベイズニューラルネットワークを用いて加速度場 f_W(s_t,v_t) をパラメータ化する。
• 初期位置 s_0 と初期速度 v_0 のエンコーダと観察 x_t のデコーダを持つ variational auto-encoder フレームワークを使用する。
• 潜在 ODE フローの対数密度進化を導出するために 瞬時の変数変換 を適用する。
• 再構成・ダイナミクス・事前制約のバランスを取るために、ペナルティ付きの変分損失（ODE2VAE-KL）を用いる。
• 潜在ダイナミクスを数値 ODE 積分（RK 法）で解き、再parameterizationとモンテカルロ推定を用いてトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 高次元の時系列データのために、二次の連続時間潜在ダイナミクスモデルをどのように学習できるか。
• RQ2 潜在空間を位置と速度に分解し、ベイズ加速度場を用いることは長期予測と補完を改善するか。
• RQ3 複雑な系列に対して過学習を防ぐために、ベイズニューラルネットワークを用いた変分推論は潜在ダイナミクスを正則化できるか。
• RQ4 モーションキャプチャと画像シーケンスデータセットに対して、ODE2VAE は RNN やブラックボックス ODE アプローチとどのように比較されるか。
• RQ5 潜在損失とダイナミクス損失のバランスを取る KL 重み付き正則化スキーム（ODE2VAE-KL）の利点は何か。

主な発見

• 高次元のシーケンスに対して長期のモーション予測と補完で最先端の成果を達成。
• モーションキャプチャ、回転 MNIST、跳ねるボールのデータセットで長期予測能力の改善を示す。
• ベイズ二次ダイナミクスと潜在位置-速度分解は過学習を抑制し、一般化を改善する。
• いくつかの連続タスクでニューラルODEsやRNNベースのモデルよりも優れた性能を示し、特に外挿と欠損データシナリオで優位。
• KL 正則化バリアント（ODE2VAE-KL）はさらに学習を安定化させ、潜在フローをエンコーダ出力と整合させる。