[论文解读] Inverse Covariance Estimation for High-Dimensional Data in Linear Time and Space: Spectral Methods for Riccati and Sparse Models

Jean Honorio, Tommi Jaakkola|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 29被引用 8

一句话总结

本文提出了一种用于高维高斯图形模型中逆协方差估计的谱方法，采用高斯（ℓ₂²）先验，避免使用诱导稀疏性的ℓ₁惩罚。该方法将问题表述为可通过SVD求解的Riccati方程，实现O(NT²)时间复杂度和O(NT)空间复杂度，并在特征值协方差模型下提供具有可证明性能保证的完整正则化路径。

ABSTRACT

We propose maximum likelihood estimation for learning Gaussian graphical models with a Gaussian (ell_2^2) prior on the parameters. This is in contrast to the commonly used Laplace (ell_1) prior for encouraging sparseness. We show that our optimization problem leads to a Riccati matrix equation, which has a closed form solution. We propose an efficient algorithm that performs a singular value decomposition of the training data. Our algorithm is O(NT^2)-time and O(NT)-space for N variables and T samples. Our method is tailored to high-dimensional problems (N gg T), in which sparseness promoting methods become intractable. Furthermore, instead of obtaining a single solution for a specific regularization parameter, our algorithm finds the whole solution path. We show that the method has logarithmic sample complexity under the spiked covariance model. We also propose sparsification of the dense solution with provable performance guarantees. We provide techniques for using our learnt models, such as removing unimportant variables, computing likelihoods and conditional distributions. Finally, we show promising results in several gene expressions datasets.

研究动机与目标

• 解决在高维设置下（N ≫ T）依赖ℓ₁惩罚的稀疏性促进方法（如ℓ₁惩罚的逆协方差估计）在计算上的不可行性。
• 开发一种可扩展、高效的算法，用于在参数上施加高斯（ℓ₂²）先验下的最大似然估计，避免使用ℓ₁正则化。
• 提供跨越所有正则化参数的解路径，而非针对固定λ的单一解。
• 通过变量选择、似然计算和条件分布估计，实现模型的实际应用。
• 在特征值协方差模型下建立对数样本复杂度，并提供对密集解的可证明稀疏化。

提出的方法

• 将逆协方差估计表述为带有ℓ₂²先验的最大似然问题，导出Riccati矩阵方程。
• 通过训练数据矩阵的奇异值分解（SVD）求解Riccati方程，实现闭式解。
• 采用谱分解方法，使计算复杂度随样本数T和变量数N线性增长，实现O(NT²)时间复杂度和O(NT)空间复杂度。
• 通过Riccati方程的结构特性，推导出无需重新优化即可获得所有正则化参数的连续解路径。
• 提出一种稀疏化过程，可在理论保证的误差界内保持模型性能。
• 利用学习到的密集逆协方差矩阵支持下游任务，如似然评估、条件分布估计和变量选择。

实验结果

研究问题

• RQ1 在高维设置下，是否可以不依赖ℓ₁正则化实现高效的逆协方差估计？
• RQ2 基于Riccati方程的谱方法是否能实现高维逆协方差估计的线性时间与线性空间计算？
• RQ3 是否可以高效计算无需迭代重新优化的完整正则化路径？
• RQ4 在特征值协方差模型下，该方法的样本复杂度是多少？
• RQ5 是否可以对密集解进行稀疏化，并提供可证明的性能保证？

主要发现

• 所提算法实现O(NT²)时间复杂度和O(NT)空间复杂度，使其适用于高维数据（N ≫ T）。
• 该方法提供跨越所有正则化参数的完整解路径，支持灵活的模型选择，无需重新运行优化。
• 在特征值协方差模型下，该方法表现出对数样本复杂度，表明具有强大的统计效率。
• 密集逆协方差解可被稀疏化，且具有可证明的误差界，可在降低复杂度的同时保持模型精度。
• 在基因表达数据集上的实证评估显示表现良好，优于传统ℓ₁方法在高维场景下的性能。
• 该方法支持实际模型应用，包括似然计算、条件分布估计和变量重要性排序。