[论文解读] A Well-Conditioned and Sparse Estimation of Covariance and Inverse Covariance Matrices Using a Joint Penalty

Ashwini Maurya|arXiv (Cornell University)|Dec 26, 2014

Statistical Methods and Inference参考文献 24被引用 3

一句话总结

该论文提出了一种联合惩罚估计器，用于高维协方差矩阵与逆协方差矩阵的估计，通过最小化结合了 ℓ₁ 范数与特征值方差惩罚的二次损失函数，同时实现稀疏性与良好条件性。该方法计算高效，在算子范数下最优，并在模拟实验与基因表达分类任务中优于现有方法。

ABSTRACT

We develop a method for estimating well-conditioned and sparse covariance and inverse covariance matrices from a sample of vectors drawn from a sub-gaussian distribution in high dimensional setting. The proposed estimators are obtained by minimizing the quadratic loss function and joint penalty of `1 norm and variance of its eigenvalues. In contrast to some of the existing methods of covariance and inverse covariance matrix estimation, where often the interest is to estimate a sparse matrix, the proposed method is flexible in estimating both a sparse and well-conditioned covariance matrix simultaneously. The proposed estimators are optimal in the sense that they achieve the minimax rate of estimation in operator norm for the underlying class of covariance and inverse covariance matrices. We give a very fast algorithm for computation of these covariance and inverse covariance matrices which is easily scalable to large scale data analysis problems. The simulation study for varying sample sizes and variables shows that the proposed estimators performs better than several other estimators for various choices of structured covariance and inverse covariance matrices. We also use our proposed estimator for tumor tissues classification using gene expression data and compare its performance with some other classification methods.

研究动机与目标

• 解决当样本量 n 相对于变量数 p 较小时，估计高维协方差矩阵与逆协方差矩阵的挑战。
• 克服高维设定下样本特征值的不稳定性与过度离散化问题，此时样本协方差矩阵会变得病态。
• 同时在协方差矩阵中强制实现稀疏性，并控制特征值离散度以确保良好条件性，从而提高估计精度。
• 开发一种可扩展的快速算法，适用于大规模数据分析，克服现有正则化方法的计算瓶颈。
• 在模拟的结构化协方差设定与真实世界的基因表达分类任务中均展示出优越性能。

提出的方法

• 将估计问题表述为最小化一个带有联合惩罚项的二次损失函数，该惩罚项作用于矩阵元素的 ℓ₁ 范数及其特征值的方差。
• 利用联合惩罚项在 ℓ₁ 正则化带来的稀疏性与特征值方差惩罚带来的特征值稳定性之间取得平衡，确保矩阵的良好条件性。
• 将估计器定义为一个凸优化问题的解，该问题在计算上可处理且可扩展至大 p 与 n 的情形。
• 将估计器应用于协方差矩阵与逆协方差矩阵，支持主成分分析、线性判别分析与高斯图形模型等应用。
• 实现一种基于迭代阈值化与特征值收缩的快速算法，利用惩罚结构加速收敛。
• 使用 5 折交叉验证来调节正则化参数 λ 与 γ，确保在训练数据上达到最优性能，而无需单独的验证集。

实验结果

研究问题

• RQ1 能否通过单一估计器在高维协方差矩阵估计中同时实现稀疏性与良好条件性？
• RQ2 与仅关注单一特性的方法相比，对 ℓ₁ 范数与特征值方差施加联合惩罚如何提升估计精度？
• RQ3 该估计器在算子范数下的极小极大风险方面具有怎样的理论性能保证？
• RQ4 该方法在大规模数据上的可扩展性如何？能否高效地应用于真实世界应用，如基因表达分析？
• RQ5 在高维数据分类任务中，该估计器是否优于图形 lasso、岭收缩与朴素贝叶斯等现有方法？

主要发现

• 所提出的 JPEN 估计器在算子范数下，对稀疏且条件良好的协方差矩阵与逆协方差矩阵均达到了极小极大收敛速率。
• 在模拟实验中，当真实特征值高度离散时，JPEN 估计器优于其他方法，能更准确地恢复真实的特征值谱与稀疏模式。
• 在基因表达数据分类任务中，基于 JPEN 的 LDA 分类器在 p=200 时平均错误率为 8.2%，优于逻辑回归（21.5%）、SVM（18.18%）与朴素贝叶斯（14.63%）。
• 即使在 p > n 的情况下，该方法依然有效，此时传统逆协方差估计方法失效，且在 p=200 时仍保持较低分类错误率。
• 该算法计算高效且可扩展，可在大规模数据集上实现快速计算，同时不损失估计精度。
• 该估计器在不同结构化的协方差矩阵上表现稳健，并通过稳定特征值谱维持了良好条件性。