[论文解读] Efficient Latent Variable Graphical Model Selection via Split Bregman Method

Gui–Bo Ye, Yuanfeng Wang+2 more|arXiv (Cornell University)|Oct 13, 2011

Face and Expression Recognition参考文献 21被引用 4

一句话总结

该论文提出了一种基于分裂Bregman框架的高效一阶优化方法，用于求解潜变量图模型选择问题，将观测浓度矩阵分解为稀疏（条件依赖）和低秩（潜因子效应）两部分。与最先进求解器相比，该方法实现了显著更快的收敛速度，并在基因表达数据上表明，仅少数几十个潜因子即可解释大部分观测到的相关性。

ABSTRACT

We consider the problem of covariance matrix estimation in the presence of latent variables. Under suitable conditions, it is possible to learn the marginal covariance matrix of the observed variables via a tractable convex program, where the concentration matrix of the observed variables is decomposed into a sparse matrix (representing the graphical structure of the observed variables) and a low rank matrix (representing the marginalization effect of latent variables). We present an efficient first-order method based on split Bregman to solve the convex problem. The algorithm is guaranteed to converge under mild conditions. We show that our algorithm is significantly faster than the state-of-the-art algorithm on both artificial and real-world data. Applying the algorithm to a gene expression data involving thousands of genes, we show that most of the correlation between observed variables can be explained by only a few dozen latent factors.

研究动机与目标

• 解决在仅部分变量可观测且潜变量引起密集相关性的情况下，高维设置下协方差矩阵估计的挑战。
• 开发一种计算高效的算法，用于求解将边际浓度矩阵分解为稀疏与低秩分量的凸优化问题。
• 在存在潜变量的高维渐近条件下，实现图模型结构的一致且稳定的估计。
• 在合成数据和真实世界数据（特别是基因组学）上评估该方法的性能。

提出的方法

• 该方法将潜变量图模型选择建模为一个凸优化问题，其目标函数结合了对数行列式、迹以及ℓ₁和核范数惩罚项。
• 采用分裂Bregman方法将问题分解为更易求解的子问题，从而实现高效的前向优化。
• 算法交替更新稀疏分量（S）、低秩分量（L）和对偶变量（B），在较弱条件下保证收敛。
• 通过交替方向乘子法（ADMM）框架处理半正定约束，支持精确或近似求解子问题。
• 采用延续策略调节正则化参数，以提升收敛速度和解的质量。
• 该方法设计具有可扩展性和鲁棒性，避免了稀疏矩阵恢复中常见的浮点数精度问题。

实验结果

研究问题

• RQ1 基于分裂Bregman的一阶方法能否在潜变量图模型选择问题上实现比现有求解器更快的收敛速度？
• RQ2 在高维基因表达数据中，少量潜因子在多大程度上能解释观测到的相关性？
• RQ3 与标准稀疏高斯图模型相比，引入潜变量在多大程度上提升了模型的泛化能力？
• RQ4 所提出的方法在高维设置下是否能保持数值稳定性并产生精确的稀疏解？

主要发现

• 所提出的基于分裂Bregman的算法（SBLVGG）在大规模问题上比最先进求解器LogdetPPA快至少三倍。
• 在1,000个基因的基因表达数据上，潜变量模型在负对数似然指标上始终优于稀疏高斯图模型，10次实验的平均NLoglike分别为-2,669.9和-2,526.3。
• 对于p=1,000个基因，该模型平均预测约50个潜因子，表明大多数观测相关性仅由几十个隐藏变量驱动。
• 代表观测变量间直接条件依赖关系的稀疏分量（S）通常仅有几十条边，某些情况下甚至为零，证实潜因子主导了相关性结构。
• 该方法成功避免了稀疏矩阵恢复中的浮点数误差，而LogdetPPA则无法产生精确的稀疏解。
• 结果支持了翻译后调控在塑造基因表达相关性方面可能比以往认为更重要的假设。