[论文解读] High-dimensional Sparse Inverse Covariance Estimation using Greedy Methods

Christopher C. Johnson, Ali Jalali+1 more|arXiv (Cornell University)|Dec 29, 2011

Sparse and Compressive Sensing Techniques参考文献 17被引用 36

一句话总结

本文提出两种贪心算法——全局与局部算法，用于高维稀疏精度矩阵估计的高斯图模型。通过分别在对数似然和节点条件对数似然上进行前向与后向贪心选择，该方法仅需 $O(d\log p)$ 个样本即可实现稀疏一致性图恢复，显著少于 $μat{1}$-正则化高斯最大似然估计所需的 $O(d^2\log p)$ 样本，且对正则性条件的要求更弱。

ABSTRACT

In this paper we consider the task of estimating the non-zero pattern of the sparse inverse covariance matrix of a zero-mean Gaussian random vector from a set of iid samples. Note that this is also equivalent to recovering the underlying graph structure of a sparse Gaussian Markov Random Field (GMRF). We present two novel greedy approaches to solving this problem. The first estimates the non-zero covariates of the overall inverse covariance matrix using a series of global forward and backward greedy steps. The second estimates the neighborhood of each node in the graph separately, again using greedy forward and backward steps, and combines the intermediate neighborhoods to form an overall estimate. The principal contribution of this paper is a rigorous analysis of the sparsistency, or consistency in recovering the sparsity pattern of the inverse covariance matrix. Surprisingly, we show that both the local and global greedy methods learn the full structure of the model with high probability given just $O(d\log(p))$ samples, which is a \emph{significant} improvement over state of the art $\ell_1$-regularized Gaussian MLE (Graphical Lasso) that requires $O(d^2\log(p))$ samples. Moreover, the restricted eigenvalue and smoothness conditions imposed by our greedy methods are much weaker than the strong irrepresentable conditions required by the $\ell_1$-regularization based methods. We corroborate our results with extensive simulations and examples, comparing our local and global greedy methods to the $\ell_1$-regularized Gaussian MLE as well as the Neighborhood Greedy method to that of nodewise $\ell_1$-regularized linear regression (Neighborhood Lasso).

研究动机与目标

• 解决高维高斯图模型中稀疏精度矩阵的一致性恢复挑战。
• 克服现有 $μat{1}$-正则化方法（如图模型Lasso）所面临的高样本复杂度与强不可表示性条件。
• 设计贪心算法，在较弱的结构假设下实现稀疏一致性（即正确恢复非零模式）。
• 证明全局与局部贪心方法所需的样本数显著少于当前最先进的 $μat{1}$-正则化方法。
• 在弱限制特征值与光滑性条件下，对稀疏一致性进行严格的理论分析。

提出的方法

• 提出一种全局贪心算法，通过在完整对数似然上进行前向与后向步骤，迭代地添加或移除精度矩阵中的条目。
• 设计一种局部贪心算法，通过在条件对数似然上进行贪心选择，独立估计每个节点的邻域，从而简化为最小二乘优化问题。
• 在全局算法中采用单变量更新的闭式解，避免重复计算对数行列式。
• 采用基于 $\epsilon_{\mathcal{S}} = \frac{cd\log p}{n}$ 的停止准则，其中 $c$ 为调参常数，以控制收敛性。
• 使用后向步骤的阈值 $v = 0.5$，当改进程度低于该水平时移除变量。
• 通过并集操作组合局部邻域估计，以恢复完整的图结构，并依赖并集界实现高概率一致性。

实验结果

研究问题

• RQ1 贪心方法能否在样本数少于 $μat{1}$-正则化方法的前提下，实现精度矩阵结构的稀疏一致性恢复？
• RQ2 使用贪心算法进行一致图结构学习的最小样本复杂度要求是什么？
• RQ3 贪心方法所需的正则性条件（如限制特征值、光滑性）与 $μat{1}$-正则化估计器相比如何？
• RQ4 通过邻域选择实现的局部贪心估计是否在样本效率上优于全局贪心或节点级 $μat{1}$-正则化回归？
• RQ5 所提出的贪心方法在不同图拓扑结构（如链式图与星型图）下的实际性能表现如何？

主要发现

• 全局与局部贪心算法在仅需 $O(d\log p)$ 个样本的情况下，即可实现精度矩阵结构的稀疏一致性恢复，显著优于 $μat{1}$-正则化高斯最大似然估计所需的 $O(d^2\log p)$ 样本复杂度。
• 贪心方法所需的限制特征值与光滑性条件，远弱于 $μat{1}$-正则化方法所要求的不可表示性条件。
• 模拟结果表明，邻域贪心算法在恢复真实图结构时所需样本数少于邻域Lasso（即节点级 $μat{1}$-回归），尤其在链式图与星型图等稀疏图中表现更优。
• 对于链式图（$d=2$），在相同样本量下，局部贪心方法的成功概率高于邻域Lasso，且成功阈值的样本量 scaling 为 $n \approx 70d\log p$。
• 对于星型图（$d=0.1p$），局部贪心方法需 $n \approx 200\log(dp)$ 个样本才能达到高成功概率，再次优于基于 $μat{1}$ 的方法。
• 全局贪心算法中单变量优化的闭式更新规则避免了昂贵的对数行列式计算，从而实现了高效的算法实现。