[论文解读] Alternating Direction Methods for Latent Variable Gaussian Graphical Model Selection

Shiqian Ma, Lingzhou Xue+1 more|arXiv (Cornell University)|Jun 6, 2012

Sparse and Compressive Sensing Techniques参考文献 46被引用 6

一句话总结

本文提出两种交替方向方法——经典ADMM与基于邻近梯度的ADMM——用于求解潜在变量高斯图形模型选择问题，即从高维数据中估计一个稀疏加低秩的精度矩阵。这些方法实现了全局收敛，且相比最先进的牛顿-CG邻近点算法快达35倍，可在两分钟内求解含一百万个变量的问题。

ABSTRACT

Chandrasekaran, Parrilo and Willsky (2010) proposed a convex optimization problem to characterize graphical model selection in the presence of unobserved variables. This convex optimization problem aims to estimate an inverse covariance matrix that can be decomposed into a sparse matrix minus a low-rank matrix from sample data. Solving this convex optimization problem is very challenging, especially for large problems. In this paper, we propose two alternating direction methods for solving this problem. The first method is to apply the classical alternating direction method of multipliers to solve the problem as a consensus problem. The second method is a proximal gradient based alternating direction method of multipliers. Our methods exploit and take advantage of the special structure of the problem and thus can solve large problems very efficiently. Global convergence result is established for the proposed methods. Numerical results on both synthetic data and gene expression data show that our methods usually solve problems with one million variables in one to two minutes, and are usually five to thirty five times faster than a state-of-the-art Newton-CG proximal point algorithm.

研究动机与目标

• 为解决当未观测（潜在）变量影响观测数据时的高维图形模型选择挑战。
• 开发高效、可扩展的优化算法，求解从样本数据中估计稀疏加低秩精度矩阵的凸优化问题。
• 为所提出的交替方向方法建立全局收敛性保证。
• 在计算速度与可扩展性方面超越现有最先进的算法，如牛顿-CG邻近点方法。
• 在合成数据与真实基因表达数据集上展示方法的有效性。

提出的方法

• 将潜在变量图形模型选择问题建模为一个凸优化问题：最小化 ⟨S, Σ̂⟩ − log det S + ρ‖S‖₁，约束条件为 S = A − L，其中 A 为稀疏矩阵，L 为低秩矩阵。
• 应用经典的交替方向乘子法（ADMM）将问题转化为共识问题，通过拆分变量 A 与 L 求解。
• 提出一种基于邻近梯度的ADMM（PGADM），将 ℓ₁收缩操作直接嵌入更新步骤，以保持解的稀疏性。
• 利用 ℓ₁ 正则化的邻近算子，强制使解矩阵 S 中的许多元素精确为零，从而实现稀疏性。
• 实施 A、L 与对偶变量的交替更新，子问题具有精确解或闭式解。
• 在标准假设下，基于问题结构与凸优化理论，证明了两种方法的全局收敛性。

实验结果

研究问题

• RQ1 能否有效将交替方向方法适配于求解高维数据下的潜在变量高斯图形模型选择问题？
• RQ2 所提出的ADMM与PGADM方法在计算效率与收敛速度方面，与现有最先进的算法（如牛顿-CG邻近点方法）相比如何？
• RQ3 所提方法在解矩阵中保持稀疏性的程度如何？这种稀疏性对估计图形模型的质量与可解释性有何影响？
• RQ4 这些方法能否在保持全局收敛性与解的准确性的同时，扩展至含一百万个变量的大规模问题？
• RQ5 在真实世界生物数据（如含数千个变量的基因表达数据集）上，这些方法表现如何？

主要发现

• 所提出的PGADM方法可在1至2分钟内求解含一百万个变量的问题，显著优于最先进的牛顿-CG邻近点算法。
• 在合成数据上，PGADM 比 LogdetPPA 快5至35倍，当 p=1000 时，最快提速达35.4倍。
• 在 Rosetta 基因表达数据集上（p=2000），PGADM 相比 LogdetPPA 实现10.9倍提速，运行时间由1小时16分钟缩短至7分钟。
• 在 Iconix 数据集上（p=2000），PGADM 实现17.9倍提速，运行时间由3小时40分钟缩短至12分钟。
• PGADM 由于 ℓ₁ 收缩机制，始终生成稀疏解，其中许多元素精确为零；而 LogdetPPA 生成稠密矩阵，需经截断处理才能获得稀疏性。
• PGADM 的目标函数值与 LogdetPPA 相当或更优，表明其在保持高解质量的同时具备显著更快的计算速度。