[论文解读] Bayesian exponential family projections for coupled data sources

Arto Klami, Seppo Virtanen+1 more|arXiv (Cornell University)|Mar 15, 2012

Blind Source Separation Techniques参考文献 20被引用 17

一句话总结

本文提出贝叶斯指数族投影以处理耦合数据源，通过自然参数的统一矩阵分解框架，将偏最小二乘法（PLS）和典型相关分析（CCA）扩展至非高斯假设，采用新颖的先验族与推理策略，在数据偏离正态性时，尤其在非高斯指数族分布下，性能优于现有方法。

ABSTRACT

Exponential family extensions of principal component analysis (EPCA) have received a considerable amount of attention in recent years, demonstrating the growing need for basic modeling tools that do not assume the squared loss or Gaussian distribution. We extend the EPCA model toolbox by presenting the first exponential family multi-view learning methods of the partial least squares and canonical correlation analysis, based on a unified representation of EPCA as matrix factorization of the natural parameters of exponential family. The models are based on a new family of priors that are generally usable for all such factorizations. We also introduce new inference strategies, and demonstrate how the methods outperform earlier ones when the Gaussianity assumption does not hold.

研究动机与目标

• 开发一种统一的多视图学习框架，将经典方法如PLS和CCA扩展至指数族分布。
• 通过指数族建模解决现有方法在非高斯数据下的局限性。
• 提出一种适用于一般指数族矩阵分解的新先验族。
• 设计针对所提出的贝叶斯指数族模型的高效推理策略。
• 通过实证验证该方法在高斯假设不成立时相对于先前方法的优越性。

提出的方法

• 将指数族主成分分析（EPCA）表示为自然参数的矩阵分解，从而实现对耦合数据源的扩展。
• 在基于EPCA的同一矩阵分解框架下，形式化偏最小二乘法和典型相关分析。
• 引入一种新的共轭先验族，适用于所有指数族分解。
• 采用变分贝叶斯推理进行后验近似，实现可扩展且稳健的学习。
• 通过指数族自然参数建模，支持对多样化数据类型（如二值、泊松、伯努利）的灵活建模。
• 推理策略被设计为比以往方法更有效地处理高维和非高斯数据。

实验结果

研究问题

• RQ1 能否将偏最小二乘法和典型相关分析推广至超出高斯假设的指数族分布？
• RQ2 如何基于指数族模型构建统一的贝叶斯多视图学习框架？
• RQ3 何种先验分布可实现在不同指数族分解中的高效且可推广的推理？
• RQ4 当数据为非高斯时，所提方法相较于现有方法表现如何？
• RQ5 该框架能否有效建模具有混合或非正态分布的耦合数据源？

主要发现

• 在数据不符合高斯分布的情境下，所提出的贝叶斯指数族投影优于早期方法。
• 由于采用适当的指数族似然函数，该方法在二值数据和计数数据等非高斯数据上实现了更高的建模精度。
• 引入的先验族在各种指数族分布中实现了稳定且可扩展的推理。
• 推理策略能有效处理高维稀疏数据，同时保持计算可行性。
• 在真实世界数据集上的实证结果表明，该方法在非高斯环境下具有鲁棒性和优越性。
• 该框架成功将PLS和异方差分析（异方差分析）扩展至指数族，实现了对耦合数据源更灵活、更精确的分析。