[论文解读] Bayesian group latent factor analysis with structured sparsity

Shiwen Zhao, Chuan Gao+2 more|arXiv (Cornell University)|Nov 11, 2014

Gene expression and cancer classification参考文献 82被引用 5

一句话总结

本文提出了一种具有结构化稀疏性的贝叶斯组因子分析模型，通过在三个层次上（元素级、列级和组间）对因子载荷进行正则化，实现了对多个耦合数据矩阵的联合分析，能够恢复稀疏和密集的潜在因子。该方法采用参数扩展的期望最大化（PX-EM）算法进行鲁棒的MAP估计，并在高维基因组和文档数据中表现出优越的性能，可有效检测结构化方差。

ABSTRACT

Latent factor models are the canonical statistical tool for exploratory analyses of low-dimensional linear structure for an observation matrix with p features across n samples. We develop a structured Bayesian group factor analysis model that extends the factor model to multiple coupled observation matrices; in the case of two observations, this reduces to a Bayesian model of canonical correlation analysis. The main contribution of this work is to carefully define a structured Bayesian prior that encourages both element-wise and column-wise shrinkage and leads to desirable behavior on high-dimensional data. In particular, our model puts a structured prior on the joint factor loading matrix, regularizing at three levels, which enables element-wise sparsity and unsupervised recovery of latent factors corresponding to structured variance across arbitrary subsets of the observations. In addition, our structured prior allows for both dense and sparse latent factors so that covariation among either all features or only a subset of features can both be recovered. We use fast parameter-expanded expectation-maximization for parameter estimation in this model. We validate our method on both simulated data with substantial structure and real data, comparing against a number of state-of-the-art approaches. These results illustrate useful properties of our model, including i) recovering sparse signal in the presence of dense effects; ii) the ability to scale naturally to large numbers of observations; iii) flexible observation- and factor-specific regularization to recover factors with a wide variety of sparsity levels and percentage of variance explained; and iv) tractable inference that scales to modern genomic and document data sizes.

研究动机与目标

• 解决在传统因子模型因欠定而失效的高维多源数据中识别低维潜在结构的挑战。
• 开发一种贝叶斯框架，实现因子载荷中的结构化稀疏性，支持在多个观测矩阵中进行元素级和列级收缩。
• 将典型相关分析和组因子分析扩展至处理具有结构化方差的任意观测子集，提升可解释性和可扩展性。
• 实现灵活的正则化，适应不同稀疏度水平和因子间方差贡献的变化，支持密集和稀疏的潜在成分。
• 提供计算上可行的推断方法，通过参数扩展的期望最大化（PX-EM）算法实现对现代基因组和文档数据集的可扩展性。

提出的方法

• 在联合因子载荷矩阵上提出一种结构化先验，实现三个层次的稀疏性：元素级、列级和观测组间。
• 采用具有混合成分的层次先验结构，允许同时存在密集和稀疏的潜在因子，从而恢复所有特征或仅部分特征之间的协变关系。
• 应用参数扩展的期望最大化（PX-EM）算法，解耦参数更新以改善收敛性，并通过正定矩阵R的重新参数化减少因子载荷与因子估计之间的耦合。
• 利用共轭先验推导出所有超参数的闭式后验更新，包括噪声精度、因子载荷和稀疏性指示变量。
• 通过协方差矩阵R的Cholesky分解保持正定性，并在优化过程中确保数值稳定性。
• 通过Λ = Λ*RL将扩展的参数空间映射回原始模型，保持似然性的同时提升混合效率和收敛性。

实验结果

研究问题

• RQ1 具有结构化稀疏性的贝叶斯组因子模型是否能有效恢复高维多组学或多模态数据中的稀疏和密集潜在因子？
• RQ2 在元素级、列级和组级的结构化稀疏性如何相较于标准因子模型提升潜在因子检测的可解释性和准确性？
• RQ3 所提出的方法在保持计算可处理性的同时，能够扩展到包含数千个样本和特征的大规模数据集到何种程度？
• RQ4 参数扩展的EM算法在高维设置下是否在收敛速度和对不良初始化的鲁棒性方面优于标准EM算法？
• RQ5 该模型是否能够在不预先知晓结构的情况下，检测出特定组学层或文档类型等任意观测子集中的结构化方差？

主要发现

• 该模型即使在存在密集效应的情况下也能成功恢复稀疏信号，在模拟数据中表现出对混合信号类型的鲁棒性。
• 该方法在样本数量上自然可扩展，对包含最多10,000个样本和10,000个特征的数据集，其推断性能仍保持可处理性。
• 针对观测和因子的灵活正则化可恢复具有多样化稀疏模式和不同方差解释比例的潜在因子。
• 通过PX-EM实现的可处理推断使该模型能够扩展至现代基因组和文档数据规模，在模拟和真实世界基准测试中优于多种最先进方法。
• 结构化先验支持在无监督条件下发现对应于任意观测子集结构化方差的潜在因子，显著增强可解释性。
• 实证结果表明，与标准CCA、BCCA和GFA方法相比，该模型在高维稀疏设置下能更准确地识别真实潜在因子。