[論文レビュー] Deep Variational Bayes Filters: Unsupervised Learning of State Space Models from Raw Data

Maximilian Karl, Maximilian Soelch+2 more|arXiv (Cornell University)|May 20, 2016

Gaussian Processes and Bayesian Inference被引用数 182

ひとこと要約

DVBFは、生データ系列から遷移を微分可能にし、潜在空間を真のダイナミクスを反映するよう制約することで、長期予測の精度と解の制御性を可能にする確率的潜在状態空間モデルを学習します。

ABSTRACT

We introduce Deep Variational Bayes Filters (DVBF), a new method for unsupervised learning and identification of latent Markovian state space models. Leveraging recent advances in Stochastic Gradient Variational Bayes, DVBF can overcome intractable inference distributions via variational inference. Thus, it can handle highly nonlinear input data with temporal and spatial dependencies such as image sequences without domain knowledge. Our experiments show that enabling backpropagation through transitions enforces state space assumptions and significantly improves information content of the latent embedding. This also enables realistic long-term prediction.

研究の動機と目的

• 生データの高次元でドメイン知識なしに潜在状態空間モデルを学習する動機付け。
• 状態空間仮定を課す DVBF を開発し、信頼できるシステム同定を可能にする。
• 時間を通じて誤差逆伝播を可能にする differentiable な潜在遷移と変分推論を結ぶ。
• DVBF が制御と予測に適した完全情報を含む潜在表現を提供することを示す。
• 確率的勾配最適化による大規模データセットへのスケーラビリティを実証する。

提案手法

• 潜在状態 z1:T、出力 x1:T、制御 u1:T、遷移パラメータ β1:T を含む確率的生成モデルを定式化する。
• 遷移 z_{t+1} = f(z_t, u_t, β_t) を再パラメータ化して遷移を微分可能にし、時系列に沿ってバックプロパゲート可能とする。
• 認識モデル qφ(β1:T|x1:T, u1:T) を因子分解し、遷移パラメータを w_t（サンプル毎のノイズ）と v_t（グローバル、事前正則化パラメータ）に分離する: qφ(β1:T|x1:T, u1:T) = qφ(w1:T|x1:T, u1:T) qφ(v1:T)。
• β のKL項を含む証拠下限を用いて周辺尤度 pθ(x1:T|u1:T) の DVBF 下界を導出し、訓練を安定化させるアニーリングスケジュールを適用する。
• 局所線形遷移の例を示し、z_t+1 = A_t z_t + B_t u_t + C_t w_t、かつ A_t, B_t, C_t が α_t = fψ(z_t, u_t) によって制御される M 個の候補行列の混合である。
• 本手法が長期的な生成と予測に適した潜在ダイナミクスを課すことを示す。

実験結果

リサーチクエスチョン

• RQ1 DVBF は raw で潜在状態空間ダイナミクスを信頼性高く同定できるか（潜在表現が非マルコフな観測でも）？
• RQ2 潜在空間の遷移ダイナミクスを課すことは、情報量と長期予測能力を従来モデルと比較して改善するか？
• RQ3 Pendulum や bouncing ball のような動的システムの高次元感覚データ（例: 画像）で DVBF はどう機能するか？
• RQ4 提案された遷移の再パラメータ化と事前分布が学習の安定性とモデル品質に与える影響は？

主な発見

• 局所線形遷移を用いた DVBF は、振り子の角度と角速度など、完全な状態情報を符号化する潜在空間を学習する。これは prior 手法（DKF など）よりも完全性が高い。
• 振り子データ上で DVBF-LL は潜在状態と真の変数（例: sin(phi)、cos(phi)、dot(phi)）との高い相関を得る；DKF は角速度の回復が困難。
• DVBF は訓練系列長を超えても安定した長期生成サンプルを提供し、長期的な予測性が向上。
• bouncing-ball の実験では、潜在空間が位置と速度成分を分離してクリーンに表現され、位置の意味ある 2D 多様体と速度の一致したエンコーディングを形成。
• Pendulum タスクでは DVBF-LL の再構成誤差が小さく、DKF より良い圧縮を示す（下界指標の点で DVBF-LL が有利）。
• 全体的に、DVBF は確率的勾配法と訓練可能なニューラルネットベースの認識モデルを介して大規模データセットに対するスケーラビリティを示す。