[论文解读] Graphical Lasso and Thresholding: Equivalence and Closed-form Solutions

Salar Fattahi, Somayeh Sojoudi|arXiv (Cornell University)|Aug 30, 2017

Statistical Methods and Inference参考文献 39被引用 11

一句话总结

本文确定了在何种条件下计算量巨大的图模型Lasso（GL）等价于对样本协方差矩阵进行简单阈值化处理，从而在阈值化矩阵具有无环结构时实现闭式解。此外，本文还为一般稀疏图提供了显式且快速的近似方法，其近似误差随环长呈指数衰减，在标准笔记本电脑上处理80,000×80,000矩阵时，30分钟内即可完成，性能接近最优。

ABSTRACT

Graphical Lasso (GL) is a popular method for learning the structure of an undirected graphical model, which is based on an $l_1$ regularization technique. The objective of this paper is to compare the computationally-heavy GL technique with a numerically-cheap heuristic method that is based on simply thresholding the sample covariance matrix. To this end, two notions of sign-consistent and inverse-consistent matrices are developed, and then it is shown that the thresholding and GL methods are equivalent if: (i) the thresholded sample covariance matrix is both sign-consistent and inverse-consistent, and (ii) the gap between the largest thresholded and the smallest un-thresholded entries of the sample covariance matrix is not too small. By building upon this result, it is proved that the GL method---as a conic optimization problem---has an explicit closed-form solution if the thresholded sample covariance matrix has an acyclic structure. This result is then generalized to arbitrary sparse support graphs, where a formula is found to obtain an approximate solution of GL. Furthermore, it is shown that the approximation error of the derived explicit formula decreases exponentially fast with respect to the length of the minimum-length cycle of the sparsity graph. The developed results are demonstrated on synthetic data, functional MRI data, traffic flows for transportation networks, and massive randomly generated data sets. We show that the proposed method can obtain an accurate approximation of the GL for instances with the sizes as large as $80,000 imes 80,000$ (more than 3.2 billion variables) in less than 30 minutes on a standard laptop computer running MATLAB, while other state-of-the-art methods do not converge within 4 hours.

研究动机与目标

• 确定图模型Lasso（GL）解与对样本协方差矩阵进行阈值化处理等价的条件，避免昂贵的优化计算。
• 当稀疏模式为无环结构时，推导GL的闭式解，实现精确且快速的计算。
• 通过显式公式将该解推广至任意稀疏图，并量化近似误差。
• 在大规模合成数据、fMRI、交通数据和随机数据集上，展示该方法的可扩展性与准确性。
• 基于样本协方差矩阵本身（而非GL的解），提供可验证、数据驱动的条件（符号一致性、逆一致性、间隙条件），确保方法的可解释性与实用性。

提出的方法

• 引入两种新型矩阵性质：符号一致矩阵与逆一致矩阵，用于刻画GL与阈值化之间的等价性。
• 证明：若阈值化后的样本协方差矩阵同时满足符号一致性和逆一致性，且阈值化与未阈值化元素之间的最大值与最小值之间存在足够大的间隙，则GL与阈值化等价。
• 通过矩阵补全与逆矩阵结构分析，推导出当阈值化矩阵的支持图无环时，GL的闭式解。
• 通过将近似误差建模为稀疏图中最小环长的函数，将闭式解推广至任意稀疏图。
• 利用互不相干参数与次高斯尾部界，推导出用于促进稀疏性的正则化参数的理论边界。
• 在大规模数据集上实现并基准测试该方法，与最先进的GL求解器对比其准确性（Frobenius范数、真正例率TPR、假正例率FPR）与运行时间。

实验结果

研究问题

• RQ1 在何种条件下，图模型Lasso的解与对样本协方差矩阵进行阈值化处理等价？
• RQ2 当稀疏模式为无环结构时，能否为图模型Lasso推导出闭式解？
• RQ3 如何将闭式解推广至具有量化近似误差的任意稀疏图？
• RQ4 稀疏图结构（如环长）与近似精度之间存在何种关系？
• RQ5 与现有GL求解器相比，该方法在大规模问题（如80,000×80,000）上的运行时间与准确性表现如何？

主要发现

• 当阈值化后的样本协方差矩阵同时满足符号一致性与逆一致性，且最大阈值化元素与最小未阈值化元素之间的间隙足够大时，GL与阈值化方法等价。
• 当阈值化矩阵的支持图无环时，可通过正定补全与矩阵逆结构分析，推导出GL的闭式解。
• 对于一般稀疏图，所提出的显式公式可提供GL的近似解，其误差随稀疏图中最短环长度呈指数衰减。
• 在80,000×80,000矩阵上，该方法在标准笔记本电脑上30分钟内即可计算出高精度近似解，而最先进的求解器在4小时内仍无法收敛。
• 在大规模实例上，该方法实现了接近1.0的真正例率（TPR ≈ 1.0）与零假正例率（FPR = 0.0），且80,000×80,000问题的Frobenius范数误差低于0.28。
• 理论正则化参数λ₀远小于模拟中使用的值，表明λ₀是实现稀疏性时的保守低估值。