[论文解读] Doubly Stochastic Subspace Clustering

Derek Lim, Renè Vidal+1 more|arXiv (Cornell University)|Nov 30, 2020

Face and Expression Recognition参考文献 54被引用 16

一句话总结

该论文提出双随机子空间聚类（Doubly Stochastic Subspace Clustering, DSSC），一种统一框架，通过联合学习自表达表示和双随机亲和矩阵来提升子空间聚合性能。通过在优化过程中直接施加双随机归一化，DSSC 消除了任意的后处理步骤，在基准数据集上达到最先进性能，并通过活动集方法实现高效的大规模计算。

ABSTRACT

Many state-of-the-art subspace clustering methods follow a two-step process by first constructing an affinity matrix between data points and then applying spectral clustering to this affinity. Most of the research into these methods focuses on the first step of generating the affinity, which often exploits the self-expressive property of linear subspaces, with little consideration typically given to the spectral clustering step that produces the final clustering. Moreover, existing methods often obtain the final affinity that is used in the spectral clustering step by applying ad-hoc or arbitrarily chosen postprocessing steps to the affinity generated by a self-expressive clustering formulation, which can have a significant impact on the overall clustering performance. In this work, we unify these two steps by learning both a self-expressive representation of the data and an affinity matrix that is well-normalized for spectral clustering. In our proposed models, we constrain the affinity matrix to be doubly stochastic, which results in a principled method for affinity matrix normalization while also exploiting known benefits of doubly stochastic normalization in spectral clustering. We develop a general framework and derive two models: one that jointly learns the self-expressive representation along with the doubly stochastic affinity, and one that sequentially solves for one then the other. Furthermore, we leverage sparsity in the problem to develop a fast active-set method for the sequential solver that enables efficient computation on large datasets. Experiments show that our method achieves state-of-the-art subspace clustering performance on many common datasets in computer vision.

研究动机与目标

• 为解决现有子空间聚类方法中亲和矩阵归一化缺乏理论依据的问题，这些方法通常依赖于任意的后处理步骤。
• 将自表达表示学习与亲和矩阵归一化步骤统一到单一优化框架中。
• 开发一种可扩展的方法，在保持稀疏性和连通性的同时，确保亲和矩阵良好归一化，以适用于谱聚类。
• 消除亲和后处理与归一化策略中对任意超参数的依赖。
• 通过理论化的归一化与联合优化，在标准计算机视觉数据集上实现最先进聚类准确率。

提出的方法

• 提出一种联合优化模型，同时学习自表达系数矩阵 C 和双随机亲和矩阵 A。
• 施加亲和矩阵 A 必须为双随机矩阵（行和列之和均为 1）的约束，确保其无需额外归一化即可适用于谱聚类。
• 设计一种顺序求解器，交替优化 C 和 A，并利用活动集方法以利用稀疏性实现大规模计算的高效性。
• 对 C 施加正则化项以鼓励稀疏性与子空间特定表示，同时通过优化约束强制 A 为双随机矩阵。
• 采用 C 的对称化与修正版本作为初始点，但直接优化 A 使其为双随机矩阵，避免任意的后处理。
• 采用交替方向乘子法（ADMM）框架，高效求解非凸优化问题。

实验结果

研究问题

• RQ1 联合学习自表达表示与双随机亲和矩阵是否能提升子空间聚类性能？
• RQ2 在亲和矩阵上强制实施双随机归一化是否能消除对任意后处理的需求，并提升谱聚类的稳定性？
• RQ3 所提方法是否能在 Yale-B、COIL 和 MNIST 等标准子空间聚类基准上实现最先进性能？
• RQ4 活动集方法在保持稀疏性与聚类准确率的前提下，如何在大规模数据集上实现可扩展性？
• RQ5 正则化参数 η1、η2 和 η3 对聚类性能与亲和结构的影响如何？

主要发现

• 所提出的 J-DSSC 和 A-DSSC 模型在 Extended Yale-B、COIL-100、UMIST、ORL、MNIST 和 EMNIST 数据集上实现了最先进聚类准确率。
• 在 Extended Yale-B 数据集上，DSSC 达到 98.7% 的聚类准确率，优于 SSC、EnSC、LSR 和 LRSC。
• 采用活动集方法的 A-DSSC 模型能高效扩展至大规模数据集（如含 145,600 个样本的 EMNIST），同时保持高准确率。
• DSSC 生成的双随机亲和矩阵 A 天然归一化，无需额外后处理即可用于谱聚类。
• 实验表明，η2 的选择即使在未对 C 显式施加稀疏性正则化的情况下，也能控制亲和矩阵的稀疏性，实现对连通性与稀疏性的有效调控。
• 该方法在多个数据集（包括 COIL-100 和 UMIST）上优于 DSC-Net 及其他深度学习基线，准确率显著提升。