[論文レビュー] Bayesian exponential family projections for coupled data sources

Arto Klami, Seppo Virtanen+1 more|arXiv (Cornell University)|Mar 15, 2012

Blind Source Separation Techniques参考文献 20被引用数 17

ひとこと要約

本稿では、自然パラメータの統一的行列分解フレームワークを用いて、ガウス分布の仮定を超えて部分最小二乗法（PLS）および共通因子分析（CCA）を拡張するベイジアン指数型分布族射影を導入する。この手法は、非ガウス分布、特に非ガウス指数型分布において、従来の手法よりも優れた性能を示す、新しい種類の事前分布と推論戦略を採用している。

ABSTRACT

Exponential family extensions of principal component analysis (EPCA) have received a considerable amount of attention in recent years, demonstrating the growing need for basic modeling tools that do not assume the squared loss or Gaussian distribution. We extend the EPCA model toolbox by presenting the first exponential family multi-view learning methods of the partial least squares and canonical correlation analysis, based on a unified representation of EPCA as matrix factorization of the natural parameters of exponential family. The models are based on a new family of priors that are generally usable for all such factorizations. We also introduce new inference strategies, and demonstrate how the methods outperform earlier ones when the Gaussianity assumption does not hold.

研究の動機と目的

• 古典的手法（PLSおよびCCAなど）を指数型分布族に拡張する、マルチビュー学習の統一的フレームワークの構築を目的とする。
• 非ガウス分布下における従来手法の限界を、指数型分布族モデリングを活用することで克服することを目的とする。
• 一般の指数型分布族行列分解に適用可能な、新たな種類の事前分布族の導入を目的とする。
• 提案されたベイジアン指数型分布族モデルに特化した効率的な推論戦略の設計を目的とする。
• ガウス分布の仮定が満たされない状況において、本手法が先行手法を上回ることを実証的に検証することを目的とする。

提案手法

• 指数型分布族主成分分析（EPCA）を自然パラメータの行列分解として表現し、結合データソースへの拡張を可能にする。
• 部分最小二乗法および共通因子分析を、同じEPCAに基づく行列分解フレームワーク内に定式化する。
• すべての指数型分布族分解に一般化可能な、新たな共役事前分布族を導入する。
• 変分ベイズ推論を用いて事後分布を近似し、スケーラブルかつ頑健な学習を実現する。
• 指数型分布族自然パラメータモデリングを通じて、二値データ、ポアソン分布、ベルヌーイ分布など多様なデータタイプの柔軟なモデリングを可能にする。
• 推論戦略は、従来の手法よりも高次元かつ非ガウス分布データをより効果的に処理できるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 部分最小二乗法および共通因子分析は、ガウス分布の仮定を超えて指数型分布族に一般化可能か？
• RQ2 指数型分布族モデルを用いたマルチビュー学習のための統一的ベイジアンフレームワークをどのように構築できるか？
• RQ3 どのような事前分布が、さまざまな指数型分布族分解にわたる効率的かつ一般化可能な推論を可能にするか？
• RQ4 データが非ガウス的である場合、本手法は従来の手法と比べてどのように性能を発揮するか？
• RQ5 混合分布や非正規分布を有する結合データソースを、本フレームワークは効果的にモデリングできるか？

主な発見

• 提案手法であるベイジアン指数型分布族射影は、データがガウス分布に従わない状況において、先行手法を上回る性能を示した。
• 適切な指数型分布尤度の使用により、二値データやカウントデータなどの非ガウス分布データにおいて、モデリング精度が向上した。
• 導入された事前分布族により、さまざまな指数型分布族分布にわたる一貫性がありスケーラブルな推論が実現された。
• 推論戦略は高次元かつスパースなデータに対しても効果的に対処でき、計算の tractability を維持した。
• 実世界のデータセットを用いた実験結果から、本手法の頑健性と非ガウス的状況下での優位性が実証された。
• 本フレームワークにより、PLSおよびCCAが指数型分布族に拡張され、結合データソースのより柔軟かつ正確な分析が可能になった。