[论文解读] Efficient Multi-view Clustering via Unified and Discrete Bipartite Graph Learning

Si-Guo Fang, Dong Huang+4 more|arXiv (Cornell University)|Sep 9, 2022

Advanced Computing and Algorithms被引用 6

一句话总结

该论文提出UDBGL，一种高效的多视图聚类方法，通过基于锚点的子空间学习与拉普拉斯秩约束，统一视图特定和视图共识的双分图学习，实现线性时间计算并直接获得离散聚类结果，无需后处理。该方法在多种数据集上实现了最先进水平的聚类性能，同时保持了高效率，尤其在大规模数据上表现突出。

ABSTRACT

Although previous graph-based multi-view clustering algorithms have gained significant progress, most of them are still faced with three limitations. First, they often suffer from high computational complexity, which restricts their applications in large-scale scenarios. Second, they usually perform graph learning either at the single-view level or at the view-consensus level, but often neglect the possibility of the joint learning of single-view and consensus graphs. Third, many of them rely on the k-means for discretization of the spectral embeddings, which lack the ability to directly learn the graph with discrete cluster structure. In light of this, this paper presents an efficient multi-view clustering approach via unified and discrete bipartite graph learning (UDBGL). Specifically, the anchor-based subspace learning is incorporated to learn the view-specific bipartite graphs from multiple views, upon which the bipartite graph fusion is leveraged to learn a view-consensus bipartite graph with adaptive weight learning. Further, the Laplacian rank constraint is imposed to ensure that the fused bipartite graph has discrete cluster structures (with a specific number of connected components). By simultaneously formulating the view-specific bipartite graph learning, the view-consensus bipartite graph learning, and the discrete cluster structure learning into a unified objective function, an efficient minimization algorithm is then designed to tackle this optimization problem and directly achieve a discrete clustering solution without requiring additional partitioning, which notably has linear time complexity in data size. Experiments on a variety of multi-view datasets demonstrate the robustness and efficiency of our UDBGL approach. The code is available at https://github.com/huangdonghere/UDBGL.

研究动机与目标

• 解决现有基于图的多视图聚类方法计算复杂度过高的问题，特别是全邻接图带来的O(n²)开销。
• 通过联合优化视图特定和视图共识双分图，克服单视图或共识层级图学习的局限性。
• 通过拉普拉斯秩约束直接学习离散聚类结构，消除对k-means后处理的依赖。
• 在数据规模上实现线性时间复杂度，以支持大规模多视图聚类应用。
• 构建统一的优化框架，同时学习视图特定图、共识图和离散聚类结构。

提出的方法

• 采用基于锚点的子空间学习，从多个视图构建视图特定的双分图，降低计算成本。
• 通过自适应权重学习融合视图特定双分图，形成捕捉共享结构的视图共识双分图。
• 在融合图上施加拉普拉斯秩约束，以强制形成恰好c个连通分量的离散聚类结构。
• 将视图特定学习、共识学习和离散结构学习的联合优化形式化为单一目标函数。
• 设计一种交替最小化算法，高效求解统一优化问题，实现数据规模上的线性时间复杂度。
• 直接将最终融合图用作离散聚类解，避免k-means等额外划分步骤。

实验结果

研究问题

• RQ1 与单独或单层次学习相比，联合学习视图特定和视图共识双分图是否能提升聚类性能？
• RQ2 在融合图上施加拉普拉斯秩约束是否能实现无需后处理的直接离散聚类？
• RQ3 所提方法是否能在保持高聚类准确率的同时实现数据规模上的线性时间复杂度？
• RQ4 与两阶段或启发式拼接方法相比，统一公式化在鲁棒性和性能方面表现如何？
• RQ5 该方法在大规模多视图数据集上的收敛行为和可扩展性如何？

主要发现

• UDBGL在十个多样化的多视图数据集上均实现了最先进水平的聚类性能，包括WebKB-Texas、CIFAR-100和VGGFace，且在所有方法中保持一致的性能提升。
• 该方法收敛迅速，通常在20次迭代内完成，所有基准数据集的损失函数下降曲线显示了这一点。
• 消融研究证实，统一公式化优于两阶段或仅视图特定的变体，在不同数据集上表现出更强的鲁棒性。
• 执行时间结果表明，UDBGL在大规模数据集（最多60,000个样本）上计算可行，而多个基线方法因内存限制而失败。
• 将锚点数量设置为与聚类数c相等，在大多数数据集上均取得稳健性能，表明其有效发现结构。
• 所提方法保持了具有竞争力的效率，执行时间与其它最先进双分图方法（如MSGL和FPMVS-CAG）相当。