[论文解读] L0 Sparse Inverse Covariance Estimation

Goran Marjanovic, Alfred O. Hero|arXiv (Cornell University)|Aug 5, 2014

Sparse and Compressive Sensing Techniques参考文献 25被引用 4

一句话总结

本文提出了一种用于稀疏精度矩阵的非凸 $l_0$-惩罚对数似然估计的新型循环下降算法，证明了其收敛至局部极小值。与基于 $l_1$ 的方法相比，该方法实现了更高的稀疏性与更低的偏差，模拟实验表明其估计精度更优。

ABSTRACT

Recently, there has been focus on penalized log-likelihood covariance estimation for sparse inverse covariance (precision) matrices. The penalty is responsible for inducing sparsity, and a very common choice is the convex $l_1$ norm. However, the best estimator performance is not always achieved with this penalty. The most natural sparsity promoting "norm" is the non-convex $l_0$ penalty but its lack of convexity has deterred its use in sparse maximum likelihood estimation. In this paper we consider non-convex $l_0$ penalized log-likelihood inverse covariance estimation and present a novel cyclic descent algorithm for its optimization. Convergence to a local minimizer is proved, which is highly non-trivial, and we demonstrate via simulations the reduced bias and superior quality of the $l_0$ penalty as compared to the $l_1$ penalty.

研究动机与目标

• 为解决 $l_1$-惩罚精度矩阵估计的局限性，如在极稀疏情形下存在偏差与稀疏性不足的问题。
• 为稀疏精度矩阵估计构建一个非凸 $l_0$-惩罚对数似然优化框架。
• 设计一种适用于非凸 $l_0$ 惩罚的收敛循环下降算法，克服非凸问题中收敛性分析的挑战。
• 通过实证结果表明，$l_0$ 惩罚相较于 $l_1$ 惩罚可实现更低的偏差与更高质量的稀疏估计器。

提出的方法

• 提出一种循环下降算法，每次迭代仅优化精度矩阵的一个非对角线元素，利用代理函数处理非凸的 $l_0$ 惩罚。
• 通过极大化-最小化方法定义下降方向，确保每一步中目标函数均有充分下降。
• 引入一个下降度量 $\mathcal{D}(x_{ij}^k, x_{ij}^{k+1})$ 以量化进展并证明收敛性。
• 利用奥斯特罗夫斯基定理证明迭代序列的极限点集是闭集且连通的，从而实现收敛至单一不动点。
• 采用线搜索策略，即使在非凸设定下也能确保目标函数的充分下降。
• 通过证明连续迭代之间的差值趋于零且所有极限点均为更新规则的不动点，从而证明收敛至局部极小值。

实验结果

研究问题

• RQ1 在高维高斯图形模型中，$l_0$-惩罚精度矩阵估计是否能在稀疏性与偏差减少方面优于 $l_1$-惩罚估计？
• RQ2 能否为非凸 $l_0$-惩罚对数似然精度矩阵估计设计一种收敛优化算法？
• RQ3 所提出的 $l_0$-基于估计器在估计精度与稀疏性恢复方面相较于 $l_1$-基于估计器表现如何？
• RQ4 对于 $l_0$-惩罚精度矩阵估计这类非凸、非光滑优化问题，循环下降方法可建立何种理论保证？

主要发现

• 所提出的循环下降算法收敛至非凸 $l_0$-惩罚对数似然目标函数的局部极小值。
• $l_0$ 惩罚相较于 $l_1$ 惩罚能诱导出显著更稀疏的精度矩阵，尤其在极稀疏情形下。
• 模拟结果表明，$l_0$-基于估计器的偏差低于 $l_1$-基于估计器，从而提升了估计精度。
• 由于更强的稀疏性促进作用，该算法实现了更好的模型简洁性与更低的过拟合风险。
• 通过一种新颖的分析框架证明了收敛性，该框架结合了下降度量与奥斯特罗夫斯基定理，适用于非凸、非光滑问题。
• 在真实精度矩阵高度稀疏时，该方法在稀疏性质量与估计保真度方面均优于 $l_1$-基于方法。