[論文レビュー] Multi-view Learning as a Nonparametric Nonlinear Inter-Battery Factor Analysis

Andreas Damianou, Neil D. Lawrence+1 more|arXiv (Cornell University)|Apr 17, 2016

Gaussian Processes and Bayesian Inference参考文献 41被引用数 7

ひとこと要約

本稿では、ガウス過程潜在変数モデル（GP-LVM）を用いて多視点データを非パrametricで非線形な相互電池要因分析として定式化することにより、非パrametricで非線形な多視点学習フレームワークを提案する。ベイジアン変分推論スキームと自動正則化を組み合わせることで、数十の視点にわたる柔軟な表現学習が可能となり、データが限られた状況下でも、探索的分析、生成、曖昧性モデリング、分類の分野で最先端の結果を達成する。

ABSTRACT

Factor analysis aims to determine latent factors, or traits, which summarize a given data set. Inter-battery factor analysis extends this notion to multiple views of the data. In this paper we show how a nonlinear, nonparametric version of these models can be recovered through the Gaussian process latent variable model. This gives us a flexible formalism for multi-view learning where the latent variables can be used both for exploratory purposes and for learning representations that enable efficient inference for ambiguous estimation tasks. Learning is performed in a Bayesian manner through the formulation of a variational compression scheme which gives a rigorous lower bound on the log likelihood. Our Bayesian framework provides strong regularization during training, allowing the structure of the latent space to be determined efficiently and automatically. We demonstrate this by producing the first (to our knowledge) published results of learning from dozens of views, even when data is scarce. We further show experimental results on several different types of multi-view data sets and for different kinds of tasks, including exploratory data analysis, generation, ambiguity modelling through latent priors and classification.

研究の動機と目的

• データが限られた状況下で、複数のデータビュー（モダリティ）から強固で低次元の表現を学習する課題に対処すること。
• 従来の要因分析における同定不能性問題を、原理的で正則化されたベイジアン非パrametricフレームワークを導入することで克服すること。
• ガウス過程を用いて、非線形で非パrametricな設定にまで拡張された相互電池要因分析を実現し、モデリングの柔軟性と解釈可能性を向上させること。
• 数十の視点にわたる効率的な推論と表現学習を可能とし、これまでの研究では達成されていなかった能力を実現すること。

提案手法

• ガウス過程潜在変数モデル（GP-LVM）をコア生成メカニズムとして用い、多視点学習を非パrametricで非線形な相互電池要因分析として定式化する。
• 変分圧縮スキームを採用して、対数尤度の厳密な下界を導出し、ベイジアン推論と正則化を可能にする。
• 各視点が共有された低次元の潜在空間からガウス過程事前分布を介してマッピングされる、複数の視点の統合確率モデルを構築する。
• 潜在変数と誘導点の上での因子化された変分後確率分布を用いた近似的ベイジアン推論により、スケーラブルな計算を実現する。
• 出力の事後モーメント（平均と共分散）をモーメントマッチング近似を用いて効率的に計算する予測フレームワークを導入し、上位からの生成を実現する。
• データポイント間で分解可能な統計量（ψ, Ψ, Φ）を活用し、推論時に学習時の計算を再利用することで、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 非パrametricで非線形な相互電池要因分析の拡張は、高い柔軟性とデータ不足に対する耐性を備えた多視点データを効果的にモデル化できるか？
• RQ2 多視点GP-LVMにベイジアン変分推論を適用することで、潜在空間の構造を自動で効率的に発見し、手動チューニングなしで強力な正則化を実現できるか？
• RQ3 提案フレームワークは、データが限られた状況下でも、数十の視点にわたる意味のある表現を学習でき、既存手法を上回る性能を示せるか？
• RQ4 統一されたフレームワークを用いて、探索的データ分析、生成、曖昧性モデリング、分類といった多様なタスクをどの程度サポートできるか？

主な発見

• 本モデルは、データが限られた状況下でも、多視点設定において数十の視点からの学習を達成した最初の公開結果を上げた。
• ベイジアン変分推論フレームワークにより強力な正則化が実現され、手動チューニングなしで潜在空間構造の自動的かつ効率的な発見が可能となった。
• 多様なデータタイプにわたる意味のある低次元表現を明らかにすることで、探索的データ分析において優れた性能を示した。
• 曖昧性モデリングにおいて、多視点データの不確実性を捉える情報豊かな潜在事前分布を学習することで、効果的なモデリングが可能となった。
• 生成および分類タスクにおいても、複数のデータセットとモダリティを対象に検証された結果、競争力のある性能を示した。
• 学習時に得た分解可能な統計量の再利用により、予測推論が計算的に効率的であり、スケーラブルな展開が可能となった。