[论文解读] Large-Scale Sparse Inverse Covariance Estimation via Thresholding and Max-Det Matrix Completion

Richard Y. Zhang, Salar Fattahi+1 more|arXiv (Cornell University)|Feb 13, 2018

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

本文提出了一种可扩展的方法，通过结合样本协方差矩阵的软阈值化与最大确定性矩阵填充（MDMC）的牛顿-共轭梯度（Newton-CG）算法，实现大规模稀疏逆协方差估计。在温和假设下，该方法以 O(n log(1/ε)) 时间和 O(n) 内存恢复图模型lasso和受限图模型lasso（RGL）解，可在标准笔记本电脑上于一小时内求解高达 200,000 个变量的问题。

ABSTRACT

The sparse inverse covariance estimation problem is commonly solved using an $\\ell_{1}$-regularized Gaussian maximum likelihood estimator known as "graphical lasso", but its computational cost becomes prohibitive for large data sets. A recent line of results showed--under mild assumptions--that the graphical lasso estimator can be retrieved by soft-thresholding the sample covariance matrix and solving a maximum determinant matrix completion (MDMC) problem. This paper proves an extension of this result, and describes a Newton-CG algorithm to efficiently solve the MDMC problem. Assuming that the thresholded sample covariance matrix is sparse with a sparse Cholesky factorization, we prove that the algorithm converges to an $\\epsilon$-accurate solution in $O(n\\log(1/\\epsilon))$ time and $O(n)$ memory. The algorithm is highly efficient in practice: we solve the associated MDMC problems with as many as 200,000 variables to 7-9 digits of accuracy in less than an hour on a standard laptop computer running MATLAB.

研究动机与目标

• 解决当变量数 n > 10^4 时图模型lasso在大规模数据集上的计算不可行性。
• 为高维稀疏逆协方差估计开发一种实用且高效的替代方法，优于当前最先进的求解器如 QUIC 和 GLASSO。
• 证明在温和假设下，对样本协方差矩阵进行软阈值化后，再进行最大确定性矩阵填充（MDMC），可恢复图模型lasso和受限图模型lasso（RGL）的解。
• 设计一种用于MDMC的牛顿-CG算法，当阈值化矩阵为稀疏且弦图结构时，实现线性时间与内存复杂度。
• 在 SuiteSparse 数据集中来自合成与真实世界图的实例上，展示该方法的可扩展性与准确性，包括高达 200,000 个变量的问题。

提出的方法

• 对样本协方差矩阵 C 进行软阈值化，得到 C_λ，该方法在温和假设下可恢复逆协方差估计器的稀疏模式。
• 将已知的稀疏模式 G（来自先验知识或阈值化）作为约束，纳入最大确定性矩阵填充（MDMC）问题中：最小化 tr(C_λ X) - log det X，满足 X ≻ 0 且当 (i,j) ∉ G 时 X_{i,j} = 0。
• 使用利用弦图结构与稀疏 Cholesky 分解的原始-对偶牛顿-CG 算法求解 MDMC 问题，实现 O(n) 内存与 O(n log(1/ε)) 时间复杂度。
• 利用稀疏图的弦图结构，通过稀疏 Cholesky 分解与共轭梯度求解，高效计算牛顿步长。
• 采用线搜索回溯策略，确保牛顿-CG 方法的全局收敛性，同时保持超线性收敛速率。
• 将阈值化与 MDMC 流程整合为完整工作流：对 C 进行阈值化得到 C_λ，提取稀疏模式 G，并求解 MDMC 以恢复最终的逆协方差估计器。

实验结果

研究问题

• RQ1 在温和假设下，对样本协方差矩阵进行软阈值化后，再进行最大确定性矩阵填充（MDMC），是否可恢复图模型lasso与受限图模型lasso（RGL）的解？
• RQ2 当阈值化矩阵为稀疏且弦图结构时，求解 MDMC 问题的计算复杂度是多少？是否可实现线性时间与内存复杂度？
• RQ3 所提出的阈值化-MDMC 流程在大规模真实世界与合成图上的速度与准确性，相较于当前最先进的求解器如 QUIC 与 GLASSO 如何？
• RQ4 在样本有限的高维设置下，该方法在多大程度上保持了真实逆协方差矩阵的稀疏模式与数值精度？
• RQ5 该方法是否可扩展至高达 200,000 个变量的问题，同时保持 7–9 位有效数字的精度，并在标准笔记本电脑上一小时内完成？

主要发现

• 所提出的阈值化-MDMC 流程在相对目标差值 ≤ 4×10⁻⁴ 的范围内恢复了图模型lasso与 RGL 解，验证了理论保证。
• 当阈值化矩阵为稀疏且弦图结构时，用于 MDMC 的牛顿-CG 算法在 O(n log(1/ε)) 时间与 O(n) 内存内收敛至 ε-精度解。
• 在 SuiteSparse 数据集的真实世界图上，该方法在不到一小时内求解了高达 201,062 个变量的问题，而 QUIC 在最大实例上 3 小时内未能收敛。
• 该方法的经验时间复杂度为 RGL 的 O(n¹.⁶⁴) 与图模型lasso的 O(n¹.⁵⁵)，显著低于 QUIC 的 O(n².⁴⁶) 与 O(n².⁵²)。
• 在 n ≤ 1.5×10⁴ 的问题上，该方法平均比 QUIC 快 11 倍，并成功求解了最大问题（n ≈ 2×10⁵），而 QUIC 失败。
• 所有测试案例中，可行性间隙 < 10⁻¹⁶，对偶间隙 < 10⁻⁸，表明具有高度的数值精度与鲁棒性。