[論文レビュー] Variational Gaussian Process Dynamical Systems

Andreas Damianou, Michalis K. Titsias+1 more|arXiv (Cornell University)|Jul 25, 2011

Gaussian Processes and Bayesian Inference参考文献 16被引用数 56

ひとこと要約

本稿では、潜在空間における非線形次元削減と動的事前分布を同時に学習することにより、高次元時系列データの完全ベイズ的で非パrametricなモデリングを可能にする変分ガウス過程動的システム（VGPDS）を提案する。変分インファレンスを用いて周辺尤度を近似することで、最適な潜在次元数を自動的に特定し、滑らかで文脈に配慮した結果を得られる。k-NNベースラインと比較して、高次元ビデオやモーションキャプチャデータの再構築において優れた性能を示した。

ABSTRACT

High dimensional time series are endemic in applications of machine learning such as robotics (sensor data), computational biology (gene expression data), vision (video sequences) and graphics (motion capture data). Practical nonlinear probabilistic approaches to this data are required. In this paper we introduce the variational Gaussian process dynamical system. Our work builds on recent variational approximations for Gaussian process latent variable models to allow for nonlinear dimensionality reduction simultaneously with learning a dynamical prior in the latent space. The approach also allows for the appropriate dimensionality of the latent space to be automatically determined. We demonstrate the model on a human motion capture data set and a series of high resolution video sequences.

研究の動機と目的

• 最大後確度（MAP）近似によるガウス過程動的システムの限界を解消すること。MAP近似は過学習のリスクがあり、潜在次元数を特定できない。
• 潜在変数を周辺化する完全ベイズ的手法を構築し、変分インファレンスを用いることで、整合的な不確実性の取り扱いを可能にする。
• 手動のチューニングや過学習のリスクなしに、最適な潜在空間次元数を自動的に決定する。
• 数百万次元、数千の時系列ポイントを持つような、高次元時系列データ（例：ビデオやセンサデータ）のスケーラブルなモデリングを可能にする。
• 人間の動きやビデオなど、複雑な高次元系列の再構築と生成を向上させ、k-近傍法ベースラインを上回る性能を発揮する。

提案手法

• 観測データが、ガウス過程動的事前分布に従う低次元の潜在的軌道から生成される階層ベイズモデルを採用する。
• 潜在変数の事後分布に対する変分近似を用い、周辺尤度の下界を最適化することで、スケーラブルなインファレンスを実現する。
• 時間インデックス付き共分散関数（例：RBF、Matérn、周期的）を用いたガウス過程で潜在的ダイナミクスをモデル化し、柔軟で非マルコフ的時間的構造を表現する。
• 潜在空間からデータ空間への観測マッピングを、潜在変数上のカーネル関数を用いた別個のガウス過程でモデル化する。
• 時間カーネルに自動関連性決定（ARD）を適用し、関連する時間スケールと潜在次元数の自動選択を可能にする。
• 大規模データセット（最大90万次元のビデオシーケンスを含む）にスケーラブルに適用できる確率的最適化フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 完全ベイズ的で非パラメトリックなアプローチは、不確実な潜在状態を伴う高次元時系列データのモデリングにおいて、MAPベースの手法を上回ることができるか？
• RQ2 変分インファレンスはガウス過程動的システムに効果的に適用可能であり、潜在次元数の自動選択を可能にするか？
• RQ3 k-NNベースラインと比較して、高次元ビデオシーケンスにおける欠損または破損したフレームの再構築性能はどの程度か？
• RQ4 長期間のビデオ生成タスクにおいて、モデルは現実的で滑らかで高品質な将来のフレームを生成できるか？
• RQ5 モデルが複雑で非線形の時間的ダイナミクスを学習できることにより、より優れた一般化性能と文脈に配慮した再構築が達成できるか？

主な発見

• VGPDSモデルは、3つのテストデータセット（Missa、ocean、dog）すべてでk-NNより低い平均二乗誤差（MSE）を達成した。それぞれMSEは2.52（Missa）、9.36（ocean）、4.01（dog）であり、最適な潜在次元数（それぞれ12、9、6）を自動的に選択した。
• 移動運動を示す「Missa」ビデオにおいて、VGPDSは滑らかで文脈的に一貫した再構築を実現したが、k-NNは空間的一致性を維持できなかった。
• モデルは訓練シーケンスを越えて外挿を成功させ、『dog』ビデオの40フレームを滑らかで現実的なかぎりの走行歩きの継続として生成した。
• 複合カーネル（RBF＋周期的）を用いることで、『dog』データセットにおける周期的運動とその周期性からの逸脱を両方効果的に捉えた。
• ARDカーネルの長さスケールはトレーニング中に真の時間的構造を反映するように変化し、モデルが関連する時間スケールを自動で学習できることを示した。
• モデルはぼやけたフレームではなく、高品質でシャープなビデオフレームを生成した。これは、複雑で高次元のデータ分布を効果的にモデル化できていることを示している。