[论文解读] Greedy Column Subset Selection: New Bounds and Distributed Algorithms

Jason M. Altschuler, Aditya Bhaskara+4 more|arXiv (Cornell University)|May 27, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用 31

一句话总结

本文提出了一种理论基础扎实的贪心列子集选择算法，具有改进的近似保证，并首次实现了具有可证明性能边界的分布式版本。该文提出了一种新颖的分析方法，表明贪心算法在使用 r = k/(σ_min(OPT_k)ε) 列时可实现 (1−ε) 近似解，同时提出了一种基于随机可组合核心集的分布式变体，能够高效扩展至大规模数据集，同时保持强大的理论保证。

ABSTRACT

The problem of column subset selection has recently attracted a large body of research, with feature selection serving as one obvious and important application. Among the techniques that have been applied to solve this problem, the greedy algorithm has been shown to be quite effective in practice. However, theoretical guarantees on its performance have not been explored thoroughly, especially in a distributed setting. In this paper, we study the greedy algorithm for the column subset selection problem from a theoretical and empirical perspective and show its effectiveness in a distributed setting. In particular, we provide an improved approximation guarantee for the greedy algorithm which we show is tight up to a constant factor, and present the first distributed implementation with provable approximation factors. We use the idea of randomized composable core-sets, developed recently in the context of submodular maximization. Finally, we validate the effectiveness of this distributed algorithm via an empirical study.

研究动机与目标

• 为贪心列子集选择算法提供更紧致的理论近似保证，解决先前工作中依赖于任意相干性参数的局限性。
• 设计并分析一种贪心算法的分布式实现，保持可证明的近似因子，从而实现对大规模数据集的可扩展性。
• 通过在真实世界数据集（包括 MNIST 和 news20.binary）上的实验评估，证明所提出分布式贪心算法的有效性。
• 表明在分布式环境中采用随机列划分可实现优异性能，与类似设置下确定性划分的失败形成鲜明对比。
• 验证基于核心集的贪心方法在显著减少大规模数据计算时间的同时，仍能保持接近最优的重构与分类性能。

提出的方法

• 提出一种新的贪心列子集选择算法近似分析，表明当迭代次数为 r = k/(σ_min(OPT_k)ε) 时，可实现对最优解的 (1−ε) 近似。
• 利用随机可组合核心集的概念，设计一种在多台机器上处理列的分布式算法，将局部选择结果合并为全局解。
• 实现两阶段分布式流程：每台机器在其本地列分区上独立运行贪心选择，随后在所有顶级列的并集上进行最终的贪心选择。
• 提出贪心算法的一种核心集变体（GREEDY++），通过基于前 k 个右奇异子空间的预采样来减少主选择阶段的计算开销。
• 利用随机到达模型推导出一种两遍流算法，具有可证明的保证，从而实现对大规模数据流的高效处理。
• 使用前 k 个主成分分析（PCA）投影矩阵作为性能比较的上界，验证所选列在下游任务中的有效性。

实验结果

研究问题

• RQ1 是否可以对贪心列子集选择算法进行更紧致的近似分析，使其依赖于最优集合的条件数，而非所有 k 列子集中的最坏情况？
• RQ2 是否可能设计一种贪心算法的分布式实现，在扩展至大规模数据集的同时保持可证明的近似保证？
• RQ3 在分布式环境中，列的随机划分是否优于确定性划分，其原因是什么？
• RQ4 在大规模数据集上，所提出的分布式贪心算法在准确率和运行时间方面与最先进的方法（如两阶段算法）相比表现如何？
• RQ5 通过贪心方法选择列在多大程度上能保持下游分类性能，特别是在与 PCA 对比时？

主要发现

• 贪心算法在使用 r = k/(σ_min(OPT_k)ε) 列时，可实现对最优列子集选择的 (1−ε) 近似，且该界在常数因子范围内是紧致的。
• 所提出的分布式贪心算法（Distgreedy）在随机到达模型下可实现具有可证明近似保证的两遍流算法。
• 在 MNIST 数据集上，Distgreedy 和 GREEDY++ 在选择 300 列后，性能与 PCA 相差不到 1%，重构与分类准确率损失极小。
• 在大规模 news20.binary 数据集上，Distgreedy 实现的分类准确率达到了 PCA 上限的 90.6%，同时由于避免了昂贵的 SVD 计算，其速度比两阶段算法快数个数量级。
• 该分布式算法展现出显著的速度提升——在 news20.binary 数据集上，相比两阶段算法最快可快 72.3 倍，同时保持高准确率与可扩展性。
• 实验结果表明，分布式环境中随机列划分在实践中是有效且鲁棒的，优于确定性划分策略。