[论文解读] A Fast Greedy Algorithm for Generalized Column Subset Selection

Ahmed Farahat, Ali Ghodsi+1 more|arXiv (Cornell University)|Dec 24, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用 7

一句话总结

本文提出一种用于广义列子集选择的快速贪心算法，其目标是从源矩阵 A 中选择列子集以最佳逼近目标矩阵 B 的列空间。该方法利用递归投影更新，高效计算每一步的残差误差，从而高效求解稀疏逼近、基于 SVD 的选择以及无监督特征选择等问题，并展现出强劲的实验性能。

ABSTRACT

This paper defines a generalized column subset selection problem which is concerned with the selection of a few columns from a source matrix A that best approximate the span of a target matrix B. The paper then proposes a fast greedy algorithm for solving this problem and draws connections to different problems that can be efficiently solved using the proposed algorithm.

研究动机与目标

• 定义一个广义列子集选择问题，将传统列子集选择（CSS）推广至使用源矩阵 A 的列来逼近目标矩阵 B。
• 开发一种计算高效的贪心算法，通过逐步选择列来最小化 B 与其投影到所选列张成空间之间的残差的 Frobenius 范数。
• 证明所提算法可有效解决多种问题，如稀疏逼近、基于 SVD 的选择以及分布式列选择。
• 提供一个统一框架，整合并改进现有稀疏恢复与特征选择中的贪心方法。

提出的方法

• 该算法通过逐步选择列来最小化投影到已选列张成空间后的残差 Frobenius 范数，每次选择一列。
• 利用投影矩阵的递归公式，在每次选择后通过残差矩阵 E = A - P^(P)A 更新投影。
• 关键组件是块矩阵求逆中的 Schur 补，可高效更新投影矩阵，而无需从头计算。
• 算法维护投影矩阵的实时估计，并利用残差和已选列的信息进行更新，从而降低计算成本。
• 该方法在稀疏逼近中等价于正交匹配追踪（orthogonal least squares），可直接应用于字典学习与匹配追踪问题。
• 该方法设计具有可扩展性与高效性，时间复杂度显著低于暴力的组合搜索。

实验结果

研究问题

• RQ1 能否为从源矩阵 A 中选择列以最佳逼近目标矩阵 B 的列空间的问题，开发一种快速贪心算法？
• RQ2 与现有的列子集选择和稀疏逼近方法相比，所提算法在效率和准确性方面表现如何？
• RQ3 广义列子集选择问题在哪些方面能够统一并推广现有问题，如稀疏逼近与基于 SVD 的选择？
• RQ4 在贪心选择过程中，使用递归投影更新具有哪些理论与实际优势？

主要发现

• 所提贪心算法相比暴力方法显著降低了计算成本，时间复杂度由最优解的 O(n^l m r l) 降低至 O(n l m r)。
• 该算法在稀疏逼近中等价于正交最小二乘法，为这一广泛应用的方法提供了新的高效实现。
• 在无监督特征选择任务中，该方法优于当前最先进的方法，在基准数据集上实现了更优的聚类性能。
• 通过使用随机投影对目标矩阵进行紧凑表示，该算法可高效实现分布式列子集选择。
• 理论分析表明，利用 Schur 补的递归投影更新可保持数值稳定性，并实现投影矩阵的精确增量计算。