[论文解读] A Pathwise Algorithm for Covariance Selection

V. Krishnamurthy, Alexandre d’Aspremont|arXiv (Cornell University)|Aug 2, 2009

Face and Expression Recognition被引用 4

一句话总结

本文提出了一种基于数值延续的路径算法，用于高效计算稀疏逆协方差矩阵的完整正则化路径。通过结合预测-校正步骤与一种可闭式求解三次方程的坐标下降方法，该方法相比独立求解每个正则化参数的情况，显著降低了计算成本。

ABSTRACT

Covariance selection seeks to estimate a covariance matrix by maximum likelihood while restricting the number of nonzero inverse covariance matrix coefficients. A single penalty parameter usually controls the tradeoff between log likelihood and sparsity in the inverse matrix. We describe an efficient algorithm for computing a full regularization path of solutions to this problem.

研究动机与目标

• 解决计算稀疏逆协方差估计完整正则化路径的计算挑战。
• 降低为不同惩罚参数求解多个协方差选择问题的成本。
• 开发一种可扩展且高效的算法，利用热启动和路径跟踪技术处理大规模问题。
• 使协方差选择在需要对多个惩罚值进行交叉验证的高维设置下具有实际应用可行性。
• 将该框架扩展至在线设置，其中协方差矩阵通过逐步更新。

提出的方法

• 通过在逆协方差矩阵上施加ℓ1惩罚，将协方差选择问题表述为凸优化问题。
• 通过预测-校正方法进行数值延续，从高惩罚值到低惩罚值追踪正则化路径。
• 基于通过共轭梯度求解大规模结构化线性系统，使用预测步骤估计路径上的下一个解。
• 在正确步骤中使用坐标下降算法，其中每次更新通过闭式求解三次方程完成。
• 推导对偶形式，并使用障碍方法定义中心路径，以指导路径跟踪过程。
• 通过在样本协方差矩阵逐步变化时高效更新解，将算法适配于在线协方差选择。

实验结果

研究问题

• RQ1 如何在不为每个惩罚参数独立求解优化问题的情况下，高效计算稀疏逆协方差矩阵的完整正则化路径？
• RQ2 与独立求解协方差选择问题的各个实例相比，使用预测-校正延续方法在计算上具有何种优势？
• RQ3 能否在路径算法的正确步骤中有效使用具有闭式更新的坐标下降方法？
• RQ4 该算法在合成数据和真实世界数据上的收敛速度和稀疏性恢复性能如何？
• RQ5 该算法在协方差矩阵逐步更新的在线学习场景中，其适应性在多大程度上可行？

主要发现

• 路径算法通过利用热启动和路径跟踪重用先前解的信息，显著降低了计算成本。
• 正确步骤采用坐标下降方法，其中每次更新通过求解三次方程以闭式计算，提升了效率。
• 预测步骤依赖于通过共轭梯度求解大规模线性系统，当条件良好时计算效率高。
• 数值实验表明，该算法在维度增加时仍能良好扩展，并产生准确的稀疏逆协方差估计。
• 在线变体算法（使用k=1的单个预测-校正步骤）在协方差更新后能实现快速收敛，适用于大规模或流式数据。