[论文解读] Achieving stable subspace clustering by post-processing generic clustering results

Duc-Son Pham, Ognjen Arandjelović+1 more|arXiv (Cornell University)|May 27, 2016

Face and Expression Recognition参考文献 43被引用 4

一句话总结

本文提出一种后处理方法，通过识别并重新分配使用稳定、随机采样子空间的错误聚类点，来稳定和改进稀疏子空间聚类（SSC）的结果。通过计算残差误差并应用保守的主导最近子空间分类，该方法在最小程度干扰正确分配点的前提下，显著降低了聚类错误。

ABSTRACT

We propose an effective subspace selection scheme as a post-processing step to improve results obtained by sparse subspace clustering (SSC). Our method starts by the computation of stable subspaces using a novel random sampling scheme. Thus constructed preliminary subspaces are used to identify the initially incorrectly clustered data points and then to reassign them to more suitable clusters based on their goodness-of-fit to the preliminary model. To improve the robustness of the algorithm, we use a dominant nearest subspace classification scheme that controls the level of sensitivity against reassignment. We demonstrate that our algorithm is convergent and superior to the direct application of a generic alternative such as principal component analysis. On several popular datasets for motion segmentation and face clustering pervasively used in the sparse subspace clustering literature the proposed method is shown to reduce greatly the incidence of clustering errors while introducing negligible disturbance to the data points already correctly clustered.

研究动机与目标

• 在运动分割和人脸聚类等真实世界数据集上，提升稀疏子空间聚类（SSC）的鲁棒性和准确性。
• 解决由于默认或非优化超参数导致的SSC参数敏感性和次优聚类结果问题。
• 开发一种通用的、非应用特定的后处理技术，在不改变原始算法核心的前提下提升聚类性能。
• 通过稳定子空间估计和基于残差的评估框架，最小化重新分配错误，同时纠正错误聚类的点。

提出的方法

• 通过随机采样数据点为每个初始聚类构建稳定子空间，以增强对噪声和异常值的鲁棒性。
• 使用ℓp范数计算每个数据点与初步子空间之间的残差误差，以评估拟合优度。
• 应用主导最近子空间分类策略决定是否重新分配，采用保守阈值以限制错误纠正。
• 利用正则化和稳定性选择原则增强子空间估计，降低对初始化的敏感性。
• 将该方法作为任何SSC变体的后处理步骤集成，无需修改原始聚类流程。
• 通过超参数η控制重新分配的敏感性，保守设置优先保证可靠性而非激进纠正。

实验结果

研究问题

• RQ1 是否可以通过后处理方法在不修改SSC核心算法的前提下提升其聚类准确性？
• RQ2 通过随机采样实现的稳定子空间估计在识别和纠正错误聚类数据点方面有多有效？
• RQ3 与基线SSC和基于Oracle的子空间知识相比，所提方法在多大程度上减少了聚类错误？
• RQ4 保守的主导最近子空间分类策略如何防止过度纠正并保持稳定性？
• RQ5 该方法是否能在运动分割和人脸聚类等不同数据集上泛化，且适用于不同类别数量？

主要发现

• 在Hopkins 155运动分割数据集上，所提方法显著降低了聚类错误，接近Oracle子空间知识的性能上限。
• 在Yale B数据集上，对于2个类别，错误率从SSC的6.25%降低至SSS的4.69%；对于3个类别，从8.33%降至5.63%。
• 在PIE数据集上，2个类别的错误率从SSC的2.50%降至SSS的2.50%，由于初始准确率已很高，因此保持不变，表明方法具有保守性。
• 在Yale B数据集上进行8类别聚类时，该方法纠正了128个点中的4个，错误率从5.66%降至4.88%，证明在高类别数下依然有效。
• 稳定子空间选择（SSS）的重新分配数量始终接近Oracle子空间方法（OSS）的水平，表明效率很高。
• 该方法保持了较高的标准化互信息（NMI），SSS在Yale B（8个类别）上达到0.9059的NMI，优于SSC的0.8866，表明聚类质量得到提升。