[论文解读] A convex framework for high-dimensional sparse Cholesky based covariance estimation

Kshitij Khare, Sang Min Oh+2 more|arXiv (Cornell University)|Oct 7, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用 5

一句话总结

本文提出了一种新颖的凸优化框架，用于高维稀疏协方差估计，通过正则化逆协方差矩阵的Cholesky分解实现。该方法在 p > n 时仍能保证正定性和收敛性，在模拟和真实数据中表现出优越的小样本性能，实现了高维估计一致性和图选择一致性。

ABSTRACT

Covariance estimation for high-dimensional datasets is a fundamental problem in modern day statistics with numerous applications. In these high dimensional datasets, the number of variables p is typically larger than the sample size n. A popular way of tackling this challenge is to induce sparsity in the covariance matrix, its inverse or a relevant transformation. In particular, methods inducing sparsity in the Cholesky pa- rameter of the inverse covariance matrix can be useful as they are guaranteed to give a positive definite estimate of the covariance matrix. Also, the estimated sparsity pattern corresponds to a Directed Acyclic Graph (DAG) model for Gaussian data. In recent years, two useful penalized likelihood methods for sparse estimation of this Cholesky parameter (with no restrictions on the sparsity pattern) have been developed. How- ever, these methods either consider a non-convex optimization problem which can lead to convergence issues and singular estimates of the covariance matrix when p > n, or achieve a convex formulation by placing a strict constraint on the conditional variance parameters. In this paper, we propose a new penalized likelihood method for sparse estimation of the inverse covariance Cholesky parameter that aims to overcome some of the shortcomings of current methods, but retains their respective strengths. We ob- tain a jointly convex formulation for our objective function, which leads to convergence guarantees, even when p > n. The approach always leads to a positive definite and symmetric estimator of the covariance matrix. We establish high-dimensional estima- tion and graph selection consistency, and also demonstrate finite sample performance on simulated/real data.

研究动机与目标

• 解决当变量数 p 超过样本量 n 时的高维协方差估计挑战。
• 克服现有非凸或受限凸方法在稀疏Cholesky基估计中的局限性。
• 开发一种联合凸优化框架，保证协方差估计器的收敛性和正定性。
• 在高维设定下确保估计与图选择的一致性。
• 在模拟和真实世界数据中展示改进的小样本性能，尤其在低样本情形（p > n）下表现更优。

提出的方法

• 提出一种惩罚似然方法，通过凸目标函数联合优化Cholesky参数 T 和对角方差矩阵 D。
• 对Cholesky参数元素施加Lasso型惩罚以诱导稀疏性，且目标函数结构支持块坐标最小化。
• 确保目标函数在 T 和 D 上联合凸性，从而在高维设定下提供收敛性保证。
• 通过将Cholesky参数按行分块，将优化问题转化为一系列凸子问题。
• 利用改进的Cholesky分解 Σ⁻¹ = TᵗDT，其中 T 为单位对角线的下三角矩阵，D 为正对角元素的对角矩阵。
• 应用联合界和浓度不等式，在稀疏性和 p 随 n 多项式增长的条件下建立高维一致性。

实验结果

研究问题

• RQ1 能否为稀疏Cholesky基逆协方差估计开发一种凸优化框架，以在 p > n 时保证收敛性和正定性？
• RQ2 所提方法是否能实现高维估计与图选择一致性？
• RQ3 与现有非凸或受限凸方法相比，该方法在小样本性能上表现如何？
• RQ4 该方法能否在高维稀疏高斯图模型中有效恢复真实的潜在DAG结构？
• RQ5 性能如何随样本量变化，尤其是在低样本（p > n）情形下？

主要发现

• 所提出的CSCS（凸稀疏Cholesky）方法实现了联合凸优化问题，即使在 p > n 时也能保证协方差估计器的收敛性和正定性。
• 在模拟和真实数据（呼叫中心数据）中，CSCS在预测误差方面优于稀疏Cholesky和稀疏DAG，尤其在训练样本量较小时（T = 75, 100）。
• 当 T = 75（n < p）时，CSCS在51个时间区间中有26个达到最小预测误差，而稀疏Cholesky为7个，稀疏DAG为18个。
• 在所有训练样本大小下，CSCS的聚合预测误差最低，当 T = 75 时平均误差为39.22，低于稀疏Cholesky的41.28和稀疏DAG的39.42。
• 在较弱正则性条件下（如 p = O(n^κ) 且 κ < 1），CSCS实现了高维估计与图选择一致性。
• CSCS估计器始终优于样本协方差矩阵，后者在所有训练样本大小下仅获得2次最小预测误差。