[论文解读] Large-scale subspace clustering using sketching and validation

Panagiotis A. Traganitis, Konstantinos Slavakis+1 more|arXiv (Cornell University)|Oct 6, 2015

Face and Expression Recognition参考文献 18被引用 3

一句话总结

本文提出SkeVa-SC，一种基于采样和验证的随机子空间聚类算法，通过引入压缩感知（sketching）与验证机制，实现大规模数据的可扩展、高精度聚类。该方法借鉴RANSAC思想，结合核密度估计与稀疏感知采样，在显著降低计算成本的同时保持了优异的性能，其理论边界分析与在合成数据及真实世界数据集上的广泛实验验证了方法的有效性。

ABSTRACT

The nowadays massive amounts of generated and communicated data present major challenges in their processing. While capable of successfully classifying nonlinearly separable objects in various settings, subspace clustering (SC) methods incur prohibitively high computational complexity when processing large-scale data. Inspired by the random sampling and consensus (RANSAC) approach to robust regression, the present paper introduces a randomized scheme for SC, termed sketching and validation (SkeVa-)SC, tailored for large-scale data. At the heart of SkeVa-SC lies a randomized scheme for approximating the underlying probability density function of the observed data by kernel smoothing arguments. Sparsity in data representations is also exploited to reduce the computational burden of SC, while achieving high clustering accuracy. Performance analysis as well as extensive numerical tests on synthetic and real data corroborate the potential of SkeVa-SC and its competitive performance relative to state-of-the-art scalable SC approaches. Keywords: Subspace clustering, big data, kernel smoothing, randomization, sketching, validation, sparsity.

研究动机与目标

• 解决现有子空间聚类（SC）方法在处理大规模、高维数据时计算复杂度过高的问题。
• 设计一种随机化、可扩展的SC框架，在数据规模与维度增加的情况下仍能保持高聚类精度。
• 为大规模场景下可靠近似真实数据概率密度函数（pdf）所需采样迭代次数提供理论性能边界。
• 通过利用数据表示中的稀疏性，进一步降低计算开销，同时不损失聚类精度。
• 基于合成数据与真实世界数据，将所提方法与当前最先进的可扩展SC算法进行对比验证。

提出的方法

• 该方法采用受RANSAC启发的压缩感知与验证框架，通过随机子采样来近似底层数据概率密度函数（pdf）。
• 应用核平滑技术，利用高斯核估计数据的pdf，实现对复杂、多峰分布的非参数近似。
• 通过利用数据表示中的稀疏性，降低聚类计算成本，同时保持精度。
• 通过比较估计pdf与参考pdf之间的差异度量（divergence measures）进行验证步骤，以选择性能最佳的压缩样本，提升对噪声与异常值的鲁棒性。
• 基于核密度估计与浓度不等式，推导出理论性能边界，为压缩样本的质量提供概率性保证。
• 最终在完整数据集上基于最优压缩样本执行聚类，确保方法的可扩展性与精度。

实验结果

研究问题

• RQ1 随机化的压缩感知与验证框架是否能在显著降低计算复杂度的前提下，实现大规模子空间聚类问题的高聚类精度？
• RQ2 为以高概率可靠近似真实数据pdf，所需最少的独立压缩迭代次数是多少？
• RQ3 在大规模SC中，数据表示中引入稀疏性如何影响计算效率与聚类精度之间的权衡？
• RQ4 在合成数据与真实世界数据集上，SkeVa-SC与当前最先进的可扩展SC方法在精度与运行时间方面相比如何？
• RQ5 在存在噪声与高维数据的情况下，压缩过程的收敛性与鲁棒性可提供哪些理论保证？

主要发现

• SkeVa-SC在合成数据与真实世界数据（包括图像与视频数据）上，与当前最先进的可扩展SC方法相比，表现出具有竞争力的聚类精度。
• 理论分析表明，为实现可靠pdf近似，所需压缩迭代次数随数据规模与维度的增加而有利增长，且通过浓度不等式推导出高概率边界。
• 通过利用稀疏性与随机子采样，该方法显著降低了计算复杂度，实现了对大规模数据集的高效处理。
• 基于pdf差异度量的验证步骤确保了最优压缩样本的稳健选择，提升了在噪声与异常值存在下的稳定性与精度。
• 实验结果证实，即使数据点数量达到数十万量级，SkeVa-SC仍能保持高聚类精度，且在运行时间与可扩展性方面优于基线方法。
• 所推导的真值pdf与估计pdf之间距离 $ d(f, \hat{f}) $ 的上界随样本量 $ n $ 增加而减小，支持该方法的一致性。