[論文レビュー] Variational Inference for Uncertainty on the Inputs of Gaussian Process Models

Andreas Damianou, Michalis K. Titsias+1 more|arXiv (Cornell University)|Sep 8, 2014

Gaussian Processes and Bayesian Inference参考文献 64被引用数 24

ひとこと要約

この論文は、最尤推定による最適化ではなく、潜在変数を統合する variational inference フレームワークを、ガウス過程潜在変数モデル (GP-LVM) に提案する。これにより、ロバストな次元削減と不確実性の定量化が可能となり、次元数の自動選択が実現される。この手法は、真の事後分布を近似する非標準的な変分近似を用い、周辺尤度の下界を最適化することで、計算が困難な積分を回避する。合成データ、ベンチマークデータ、高解像度動画データにおいて、一般化性能が向上することを示している。

ABSTRACT

The Gaussian process latent variable model (GP-LVM) provides a flexible approach for non-linear dimensionality reduction that has been widely applied. However, the current approach for training GP-LVMs is based on maximum likelihood, where the latent projection variables are maximized over rather than integrated out. In this paper we present a Bayesian method for training GP-LVMs by introducing a non-standard variational inference framework that allows to approximately integrate out the latent variables and subsequently train a GP-LVM by maximizing an analytic lower bound on the exact marginal likelihood. We apply this method for learning a GP-LVM from iid observations and for learning non-linear dynamical systems where the observations are temporally correlated. We show that a benefit of the variational Bayesian procedure is its robustness to overfitting and its ability to automatically select the dimensionality of the nonlinear latent space. The resulting framework is generic, flexible and easy to extend for other purposes, such as Gaussian process regression with uncertain inputs and semi-supervised Gaussian processes. We demonstrate our method on synthetic data and standard machine learning benchmarks, as well as challenging real world datasets, including high resolution video data.

研究の動機と目的

• 最尤推定による訓練における過学習と次元数の自動選択の欠如を解消すること。
• 最適化するのではなく、潜在変数を統合するベイズフレームワークを構築し、一般化性能と不確実性推定を向上させること。
• 統一的な変分推論アプローチにより、時系列に相関のある観測値と不確実な入力を扱えるように GP-LVM を拡張すること。
• モーションキャプチャや動画シーケンスなどの複雑で高次元のデータに対して、スケーラブルかつロバストな GP-LVM の訓練を可能にすること。

提案手法

• GP-LVM における潜在入力の真の事後分布を近似する非標準的な変分推論フレームワークを導入する。
• 潜在変数の不確実性を表現するために、ガウス型の変分近似 $ q(Θ) = \mathcal{N}(\hat{\bm{\mu}}, \hat{\mathbf{S}}) $ を用いる。ここで $ Θ $ は潜在入力行列を表す。
• 周辺尤度の解析的下界を導出し、これを最適化することでモデルを学習する。これにより、計算が困難な積分を回避できる。
• 状態空間の定式化を用いて、i.i.d. 観測値および時系列依存性を持つ非線形動的システムの両方にこのフレームワークを適用する。
• カーネルに自動関連性決定 (ARD) を適用し、不要な潜在次元をプルーニングすることで、次元数の自動選択を可能にする。
• 観測された入力をノイズありまたは潜在変数として扱うことで、不確実な入力を持つ回帰および半教師あり学習にこの手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 GP-LVM における潜在入力の変分推論は、最尤推定と比較して過学習に対してよりロバストであるか？
• RQ2 提案されたフレームワークは、手動のチューニングなしに最適な潜在空間の次元数を自動的に特定できるか？
• RQ3 この手法は、モーションキャプチャシーケンスのような時系列に相関のあるデータにどれほど一般化できるか？
• RQ4 学習分布外の潜在空間からサンプリングすることで、モデルは訓練データにない新しい、妥当なデータポイントを生成できるか？

主な発見

• 変分 GP-LVM は、合成データおよび実世界のデータ（高解像度動画データを含む）において、過学習に対して優れた一般化性能とロバスト性を示す。
• ARD カーネルの重みを通じて、潜在空間の有効次元数が自動的に選択され、一部の次元が実質的にプルーニングされる（例：ゼロのスケール重みが不必要な次元を示唆）。
• モーションキャプチャデータでは、モデルが「歩行」と「走行」のモードを潜在空間の別々の部分空間に分離し、1つの次元（例：次元4）が両モードを分離する役割を果たしている。
• 潜在空間からのサンプリングにより、学習データにない滑らかで妥当な新しい動きが生成され、モデルの生成能力が裏付けられた。
• 動的変分 GP-LVM の予測性能は、最近傍法ベースラインを上回り、ベンチマークデータセットでは最先端の手法と同等またはそれを上回る。
• このフレームワークにより、入力を学習された分布を持つ潜在変数として扱うことで、不確実性を考慮した回帰と半教師あり学習が可能になった。