[論文レビュー] A Disentangled Recognition and Nonlinear Dynamics Model for Unsupervised Learning

M. Fraccaro, Simon Kamronn+2 more|arXiv (Cornell University)|Oct 16, 2017

Advanced Image Processing Techniques参考文献 30被引用数 115

ひとこと要約

KVAE は Kalman Variational Auto-Encoder において、オブジェクトの外観表現を VAE、ダイナミクスをダイナミクスパラメータネットワークを伴う線形ガウス状態空間モデルで分離し、エンドツーエンドの教師なし学習、長期的な潜在空間推論、および高次元フレームのレンダリングなしに欠損データを補完できる。

ABSTRACT

This paper takes a step towards temporal reasoning in a dynamically changing video, not in the pixel space that constitutes its frames, but in a latent space that describes the non-linear dynamics of the objects in its world. We introduce the Kalman variational auto-encoder, a framework for unsupervised learning of sequential data that disentangles two latent representations: an object's representation, coming from a recognition model, and a latent state describing its dynamics. As a result, the evolution of the world can be imagined and missing data imputed, both without the need to generate high dimensional frames at each time step. The model is trained end-to-end on videos of a variety of simulated physical systems, and outperforms competing methods in generative and missing data imputation tasks.

研究の動機と目的

• 逐次データにおけるオブジェクト特有の符号化とダイナミクスを分離する。
• 正確な後方推論をサポートする潜在空間でダイナミクスを学ぶ。
• 完全なフレーム生成なしで欠損補完と長期的推論を可能にする。
• 生の動画データからのエンドツーエンドの教師なし学習を促進する。

提案手法

• 共有エンコーダ/デコーダを用いたVAEで、各動画フレーム x_t を低次元潜在表現 a_t に符号化する。
• 潜在 z_t 上の線形ガウス状態空間モデル (LGSSM) によって a_t のダイナミクスをモデル化し、a_t が与えられたときに正確なカルマン平滑化/事後推定を可能にする。
• 過去のエンコード a_{0:t-1} の関数として LGSSM パラメータ (A_t, B_t, C_t) を変調する非線形かつ時変のダイナミクスパラメータネットワークを組み込む。
• カルマン平滑化からの p_gamma(z|a,u) を含む構造化変分分布を用いて ELBO を最大化する学習目的を定式化する。
• エンコードされた a_t と学習済みダイナミクスに条件付けられた LGSSM 上で平滑化することにより欠損データ補完を可能にし、高次元の自己回帰フレーム生成を回避する。
• RNN ベースのベースラインと比較するため、物理シミュレーション動画でエンドツーエンド訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 KVAE は、競合モデルと比較して、跳ねるボールや振り子のタスクで生成性能と欠損データ補完性能を向上させる。
• RQ2 LGSSM バックボーンの正確な事後推定により、各ステップで高次元フレームを生成せずに平滑化ベースの補完が可能になる。
• RQ3 ダイナミクスパラメータネットワークは複数の LGSSM モード間を補間して非線形相互作用を捉えつつ、平滑化を扱いやすい状態に保つ。
• RQ4 KVAE は過去と未来のフレームの情報を用いて欠落フレームを補完でき、いくつかの欠損データシナリオで自己回帰ベースラインを上回る。
• RQ5 実験は、ビデオから教師なしで訓練された KVAE が妥当な潜在ダイナミクスを学習し、環境を跨いで現実的な軌跡を生成できることを示している。

主な発見

モデル	テスト ELBO
KVAE (CNN)	810.08
KVAE (MLP)	807.02
DVBF	798.56
DMM	784.70

• KVAE は、競合モデルと比較して、跳ねるボールや振り子のタスクで生成性能と欠損データ補完性能を向上させる。
• LGSSM バックボーンの正確な事後推定により、各ステップで高次元フレームを生成せずに平滑化ベースの補完が可能になる。
• ダイナミクスパラメータネットワークは複数の LGSSM モード間を補間して非線形相互作用を捉えつつ、平滑化を扱いやすい状態に保つ。
• KVAE は過去と未来のフレームの情報を用いて欠落フレームを補完でき、いくつかの欠損データシナリオで自己回帰ベースラインを上回る。
• 実験は、ビデオから教師なしで訓練された KVAE が妥当な潜在ダイナミクスを学習し、環境を跨いで現実的な軌跡を生成できることを示している。