[论文解读] Sparse inverse covariance estimation with the lasso

Jerome H. Friedman, Trevor Hastie+1 more|ArXiv.org|Aug 27, 2007

Sparse and Compressive Sensing Techniques参考文献 8被引用 60

一句话总结

本文提出了一种基于坐标下降法的快速套索算法，用于在高维高斯图模型中估计稀疏逆协方差矩阵。通过将问题重新表述为一系列套索回归子问题，该方法在保持精确最大似然估计的同时，计算速度比内点法快50至2000倍，从而实现了对包含多达1000个变量的大规模数据集的高效分析，耗时不足一分钟。

ABSTRACT

We consider the problem of estimating sparse graphs by a lasso penalty applied to the inverse covariance matrix. Using a coordinate descent procedure for the lasso, we develop a simple algorithm that is remarkably fast: in the worst cases, it solves a 1000 node problem (~500,000 parameters) in about a minute, and is 50 to 2000 times faster than competing methods. It also provides a conceptual link between the exact problem and the approximation suggested by Meinhausen and Buhlmann (2006). We illustrate the method on some cell-signaling data from proteomics.

研究动机与目标

• 开发一种在L1正则化下计算高效的稀疏逆协方差矩阵估计方法。
• 弥合梅因豪森-布赫曼近似与精确最大似然解之间的概念与计算差距。
• 在传统内点法过于缓慢的高维场景中，实现大规模图模型的高效估计。
• 为现实世界中的生物数据和高维数据提供一种实用、快速且精确的稀疏协方差估计算法。

提出的方法

• 该方法使用块坐标下降法，通过求解套索型优化问题，迭代更新逆协方差矩阵的每一行和每一列。
• 对于每个变量，算法求解一个与当前协方差矩阵估计值导出的修改设计矩阵和响应向量等价的对偶问题。
• 核心优化步骤是一个通过坐标下降法高效求解的箱约束二次规划，利用了现有的快速套索求解器。
• 该算法在更新每个变量的条件回归系数与更新逆协方差矩阵中对应条目之间交替进行。
• 通过对偶间隙监控收敛性，实验中采用0.1作为阈值。
• 该方法在概念上与梅因豪森-布赫曼方法相关，但提供了L1-正则化对数似然最大化问题的精确解。

实验结果

研究问题

• RQ1 基于套索回归的坐标下降算法是否能比内点法更高效地解决精确稀疏逆协方差估计问题？
• RQ2 所提出的方法在准确性和速度上与梅因豪森-布赫曼近似及精确内点求解器相比如何？
• RQ3 套索方法在实现计算可扩展性的同时，能在多大程度上保持统计一致性？
• RQ4 该方法能否有效应用于真实世界中的高维生物数据，如蛋白质组学数据集？

主要发现

• 所提出的协方差套索算法在不到一分钟内解决了1000个节点的问题（约50万个参数），展现出卓越的速度。
• 在最坏情况下，该方法比COVSEL内点法快50至2000倍，且在稀疏问题上中位数加速比约为1900倍。
• 该算法平均仅需约3次数据遍历，表明其具有很高的收敛效率。
• 在11种蛋白质的细胞信号传导数据集中，该方法在中等正则化水平下生成的图与Sachs等人（2003年）的DAG有中等程度的一致性。
• 交叉验证表明，精确协方差套索方法在预测性能上优于梅因豪森-布赫曼近似，尤其是在轻度正则化条件下。
• 基于似然的交叉验证方法比基于回归的交叉验证方法变异性更小，表明其模型选择更稳定。