[论文解读] Structured Graph Learning for Scalable Subspace Clustering: From Single-view to Multi-view

Zhao Kang, Zhiping Lin+2 more|arXiv (Cornell University)|Feb 16, 2021

Advanced Clustering Algorithms Research参考文献 70被引用 10

一句话总结

该论文提出了一种可扩展的、结构感知的图学习框架，用于子空间聚类，通过使用锚点和二分图实现线性时间复杂度，显式通过连通性约束强制执行聚类结构，并支持样本外扩展。该方法在单视图和多视图数据集（包括大规模 NUS-WIDE 数据集）上，在准确率、纯度和效率方面均优于当前最先进方法，且在 10 次迭代内完成收敛。

ABSTRACT

Graph-based subspace clustering methods have exhibited promising performance. However, they still suffer some of these drawbacks: encounter the expensive time overhead, fail in exploring the explicit clusters, and cannot generalize to unseen data points. In this work, we propose a scalable graph learning framework, seeking to address the above three challenges simultaneously. Specifically, it is based on the ideas of anchor points and bipartite graph. Rather than building a $n imes n$ graph, where $n$ is the number of samples, we construct a bipartite graph to depict the relationship between samples and anchor points. Meanwhile, a connectivity constraint is employed to ensure that the connected components indicate clusters directly. We further establish the connection between our method and the K-means clustering. Moreover, a model to process multi-view data is also proposed, which is linear scaled with respect to $n$. Extensive experiments demonstrate the efficiency and effectiveness of our approach with respect to many state-of-the-art clustering methods.

研究动机与目标

• 解决传统基于图的子空间聚类方法因完整 n×n 图构建和特征分解导致 O(n³) 时间复杂度的高计算成本问题。
• 通过施加直接反映聚类成员关系的连通性约束，克服现有方法中缺乏显式聚类结构的问题。
• 实现样本外泛化能力，使模型能够在不重新训练的情况下对新出现的、未见过的数据点进行聚类。
• 将可扩展的单视图框架扩展至多视图数据，同时保持线性复杂度并维持性能。
• 在图聚类与 K-means 之间建立理论联系，弥合两者之间的理论鸿沟。

提出的方法

• 构建数据样本与少量锚点之间的二分图，而非完整的 n×n 相似性图，将内存和计算复杂度降低至 O(n)。
• 引入连通性约束，确保学习图中的连通分量直接对应于聚类，从而实现显式聚类结构的发现。
• 将优化问题公式化为联合学习图结构与聚类指示变量，利用谱图特性确保聚类的一致性。
• 建立所提方法与 K-means 聚类之间的理论联系，证明在特定条件下最小化目标函数等价于 K-means 优化。
• 通过学习各视图特定的图结构并采用共识聚类策略进行融合，将框架扩展至多视图数据，同时保持线性可扩展性。
• 使用网格搜索进行超参数调优，尤其关注多视图设置中正则化参数 γ 的选择。

实验结果

研究问题

• RQ1 基于图的子空间聚类方法是否能在保持聚类准确率的同时实现线性时间复杂度？
• RQ2 图结构中的连通性约束是否能直接强制形成显式聚类，而无需依赖谱聚类等后处理方法？
• RQ3 所提方法是否能泛化至样本外数据点，从而支持在线或流式数据环境下的部署？
• RQ4 与现有最先进方法相比，该方法在多视图数据上的可扩展性和聚类质量表现如何？
• RQ5 所提图学习框架与 K-means 聚类之间存在何种理论关系？

主要发现

• 在 Caltech-7 数据集上，MSGL 达到 73.31% 的准确率和 52.47% 的 NMI，优于 LMVSC（72.66% 准确率，51.93% NMI）及其他所有基线方法。
• 在 Citeseer 数据集上，MSGL 达到 54.47% 的准确率和 26.54% 的 NMI，优于 LMVSC（52.26% 准确率，25.71% NMI）及其他方法。
• 在大规模 NUS-WIDE 数据集上，MSGL 仅用 547.58 秒（±32.11）完成聚类，远快于 MSC_IAS 的 45,386 秒，同时达到 16.31% 的准确率和 12.26% 的 NMI。
• 在所有三个数据集上，目标函数均在 10 次迭代内收敛，证实了算法的快速收敛性和稳定性。
• MSGL 在所有数据集上均保持了高精度、高 NMI 和高纯度，展现出卓越的鲁棒性和可扩展性。
• 该方法实现了线性时间复杂度并支持样本外扩展，适用于真实世界中的大规模和动态数据应用场景。