[論文レビュー] Spike and Slab Gaussian Process Latent Variable Models

Zhenwen Dai, James Hensman+1 more|arXiv (Cornell University)|May 10, 2015

Gaussian Processes and Bayesian Inference参考文献 18被引用数 6

ひとこと要約

本稿では、スパイクアンドスラブガウス過程潜在変数モデル（SS-GP-LVM）を提案する。このモデルは、二値のスイッチ変数を用いて、確率的に有効な潜在次元を選び出すことで、理論的根拠に基づいた、自動的な次元削減を可能にする。変分下界を導出し、潜在変数とスイッチ変数の両方を効率的に推論することで、教師なし学習においても、クロスモーダル検索で最先端の性能を達成し、テキストクエリにおいて0.540 mAPを達成した。これは、従来手法に比べ顕著に優れている。

ABSTRACT

The Gaussian process latent variable model (GP-LVM) is a popular approach to non-linear probabilistic dimensionality reduction. One design choice for the model is the number of latent variables. We present a spike and slab prior for the GP-LVM and propose an efficient variational inference procedure that gives a lower bound of the log marginal likelihood. The new model provides a more principled approach for selecting latent dimensions than the standard way of thresholding the length-scale parameters. The effectiveness of our approach is demonstrated through experiments on real and simulated data. Further, we extend multi-view Gaussian processes that rely on sharing latent dimensions (known as manifold relevance determination) with spike and slab priors. This allows a more principled approach for selecting a subset of the latent space for each view of data. The extended model outperforms the previous state-of-the-art when applied to a cross-modal multimedia retrieval task.

研究の動機と目的

• GP-LVMにおける潜在次元選択のためのヒューリスティックなしきい値設定の限界を解決すること。これはしばしば手動でのチューニングを必要とし、理論的根拠に欠ける。
• スパイクアンドスラブ事前分布を用いた、確率的オン/オフスイッチングを可能にするベイジアン的手法による、潜在次元選択の原理的アプローチを開発すること。
• 多視点学習への拡張を、多様体関連決定（MRD）を用いて行い、共有および視点固有の潜在空間を可能にするとともに、各視点における自動次元選択を実現すること。
• トレーニング中にラベル情報を使用せずに、クロスモーダル検索タスクで優れた性能を達成すること。

提案手法

• 各潜在次元が有効または無効であるかを決定する二値スイッチ変数を用いたスパイクアンドスラブ事前分布を導入する。
• 潜在変数とスイッチ変数の両方の推論を可能にするために、対数周辺尤度の閉形式の変分下界を導出する。
• 潜在変数とスイッチ変数の条件付き依存関係をモデル化する構造化された変分推論アプローチを採用し、標準的な平均場近似の欠陥を回避する。
• 多様体関連決定（MRD）を用いて、多視点GP-LVMにこの手法を適用し、共有および視点固有の潜在空間を可能にするとともに、自動次元選択を実現する。
• 実世界のデータセットにおけるスケーラブルなトレーニングを実現するため、GPU加速並列推論を採用する。
• 指数関数的平方カーネルを用い、推論前に特徴量を平均0、分散1に正規化する。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスラブ事前分布は、GP-LVMに効果的に適用可能であり、潜在次元数の自動的かつ原理的な選択を可能にするか？
• RQ2 提案された変分推論手法は、標準的な長さスケールしきい値法と比較して、モデル選択の正確性とロバスト性において優れているか？
• RQ3 スパイクアンドスラブアプローチは、多様体関連決定（MRD）を用いた多視点GP-LVMに拡張可能であり、クロスモーダル学習の性能向上に寄与するか？
• RQ4 本手法は、トレーニング中にラベル情報を使用しない状況でも、クロスモーダル検索で最先端の性能を達成するか？

主な発見

• 提案されたSSMRDモデルは、Wikipediaクロスモーダル検索データセットにおけるテキストクエリで平均平均精度（mAP）0.540を達成し、前例の最先端手法（SCM: 0.273 mAP）を顕著に上回った。
• テキストクエリにおけるモデルの精度-再現率曲線は、すべての比較手法よりもゆっくり低下しており、優れたランク付け品質を示している。
• 画像クエリではmAPが0.170にとどまり、最先端性能を下回った。これは、不十分な誘導入力（100個使用）とトレーニング中にラベル情報が欠落していることが原因とされる。
• 確率的スイッチングにより、手動での長さスケールパラメータのしきい値設定を必要とせず、自動的かつ原理的な潜在次元選択が可能になった。
• 変分推論フレームワークは、スイッチ変数と潜在入力の強い相関を適切に扱い、標準的な平均場近似で一般的に生じる問題を回避した。
• 本手法は、トレーニング中にラベル情報を使用しないにもかかわらず、すべての比較手法を上回るクロスモーダル検索性能を達成した。これは、本手法のロバストネスと一般化能力を示している。