[论文解读] Beyond Linear Subspace Clustering: A Comparative Study of Nonlinear Manifold Clustering Algorithms

Maryam Abdolali, Nicolas Gillis|arXiv (Cornell University)|Mar 19, 2021

Face and Expression Recognition参考文献 186被引用 43

一句话总结

本文对非线性流形聚类算法进行了全面的比较研究，将它们分类为保持局部性、基于核方法和基于神经网络的方法。在合成数据和真实世界数据集上评估了代表性方法，发现未经后处理的基于神经网络的方法通常表现不佳，而基于核方法和保持局部性方法则表现出更强的实验性能和鲁棒性。

ABSTRACT

Subspace clustering is an important unsupervised clustering approach. It is based on the assumption that the high-dimensional data points are approximately distributed around several low-dimensional linear subspaces. The majority of the prominent subspace clustering algorithms rely on the representation of the data points as linear combinations of other data points, which is known as a self-expressive representation. To overcome the restrictive linearity assumption, numerous nonlinear approaches were proposed to extend successful subspace clustering approaches to data on a union of nonlinear manifolds. In this comparative study, we provide a comprehensive overview of nonlinear subspace clustering approaches proposed in the last decade. We introduce a new taxonomy to classify the state-of-the-art approaches into three categories, namely locality preserving, kernel based, and neural network based. The major representative algorithms within each category are extensively compared on carefully designed synthetic and real-world data sets. The detailed analysis of these approaches unfolds potential research directions and unsolved challenges in this field.

研究动机与目标

• 解决线性子空间聚类在建模复杂非线性数据结构方面的局限性。
• 为非线性流形聚类算法提供一个系统性的分类体系，将其分为三类主要方法：保持局部性、基于核方法和基于神经网络的方法。
• 在合成数据和真实世界数据集上，对这三类方法中的代表性算法进行实验比较。
• 识别非线性流形聚类中的关键挑战和开放问题，包括超参数敏感性、可扩展性以及缺乏理论保证。
• 通过突出未解决的问题（如相交流形的聚类和对异常值的鲁棒性提升）来指导未来研究。

提出的方法

• 提出一种新分类体系，将非线性子空间聚类方法分为三类：保持局部性、基于核方法和基于神经网络的方法。
• 回顾并比较每类中的代表性算法，包括 LMC、KSC 和 DSC-Net，使用原始空间或变换空间中的自表达性。
• 在学习到的系数矩阵上应用谱聚类，以执行最终聚类，遵循线性 SC 的标准流程。
• 在保持局部性方法中使用拉普拉斯正则化，以在嵌入空间中保持局部结构。
• 应用核方法将数据映射到更高维的特征空间，使得线性聚类成为可能。
• 在基于神经网络的方法中使用深度自编码器来学习非线性表示，重点在于在潜在空间中强制实现自表达性。

实验结果

研究问题

• RQ1 在聚类准确率和鲁棒性方面，不同类别的非线性流形聚类算法（保持局部性、基于核方法和基于神经网络的方法）如何比较？
• RQ2 在没有人为后处理的情况下，基于神经网络的方法在多大程度上能够实现保持子空间的表示？
• RQ3 非线性聚类算法对超参数（如邻域大小、核带宽或训练轮数）的敏感程度如何？
• RQ4 现有非线性 SC 方法中的计算瓶颈是什么，特别是 n×n 系数矩阵存储和 Gram 矩阵计算方面？
• RQ5 现有非线性 SC 方法能否可靠地对来自相交或紧密相邻流形的数据进行聚类？

主要发现

• 基于神经网络的非线性 SC 方法（如 DSC-Net）在缺乏专门后处理步骤的情况下，通常无法生成保持子空间的表示，表明潜在空间中的自表达性所提供的归纳偏置不足。
• 在具有独立或良好分离的流形的合成数据上，基于核方法和保持局部性方法通常优于基于神经网络的方法。
• 当流形接近或相交时，所有方法的性能都会显著下降，尤其是对邻域和核参数敏感的保持局部性方法和基于核方法。
• 计算成本仍是主要瓶颈，特别是由于邻域图的 O(n²) 复杂度和 n×n 系数矩阵存储，限制了在超过 10,000 个数据点时的可扩展性。
• 非线性 SC 缺乏理论保证，特别是对于基于神经网络的方法，导致模型行为难以解释且容易产生平凡嵌入。
• 对严重噪声和异常值的鲁棒性仍是关键挑战，因为大多数方法依赖 Frobenius 范数进行数据拟合，对噪声和遮挡敏感。