[论文解读] Fast Multi-view Clustering via Ensembles: Towards Scalability, Superiority, and Simplicity

Dong Huang, Chang‐Dong Wang+1 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Clustering Algorithms Research被引用 14

一句话总结

该论文提出 FastMICES，一种可扩展的、高性能的多视图聚类方法，通过使用随机视图组和混合早期-晚期融合策略，实现高效、线性复杂度的聚类，且无需针对数据集进行超参数调优。该方法在 22 个数据集上实现了最先进性能，包括 YTF-400 这类超大规模数据集（含 398K 个样本），同时保持了近线性的时间和空间复杂度。

ABSTRACT

Despite significant progress, there remain three limitations to the previous multi-view clustering algorithms. First, they often suffer from high computational complexity, restricting their feasibility for large-scale datasets. Second, they typically fuse multi-view information via one-stage fusion, neglecting the possibilities in multi-stage fusions. Third, dataset-specific hyperparameter-tuning is frequently required, further undermining their practicability. In light of this, we propose a fast multi-view clustering via ensembles (FastMICE) approach. Particularly, the concept of random view groups is presented to capture the versatile view-wise relationships, through which the hybrid early-late fusion strategy is designed to enable efficient multi-stage fusions. With multiple views extended to many view groups, three levels of diversity (w.r.t. features, anchors, and neighbors, respectively) are jointly leveraged for constructing the view-sharing bipartite graphs in the early-stage fusion. Then, a set of diversified base clusterings for different view groups are obtained via fast graph partitioning, which are further formulated into a unified bipartite graph for final clustering in the late-stage fusion. Notably, FastMICE has almost linear time and space complexity, and is free of dataset-specific tuning. Experiments on 22 multi-view datasets demonstrate its advantages in scalability (for extremely large datasets), superiority (in clustering performance), and simplicity (to be applied) over the state-of-the-art. Code available: https://github.com/huangdonghere/FastMICE.

研究动机与目标

• 解决现有多视图聚类（MVC）算法因计算复杂度过高而产生的可扩展性限制，特别是谱聚类和相似性矩阵构建带来的 O(N³) 性能瓶颈。
• 通过提出一种混合早期-晚期融合策略，克服单阶段融合（早期或晚期）的局限性，实现多阶段信息融合。
• 消除对数据集特定超参数调优的需求，从而提升在无监督设置下的实用性。
• 在通用规模和超大规模多视图数据集上均实现优越的聚类性能，同时保持线性的时间和空间复杂度。

提出的方法

• 引入随机视图组以灵活组织多个视图，支持在多阶段中探索多样化的视图间关系。
• 在每个随机视图组内利用三个层次的多样性——特征级、锚点级和邻域级——构建稳健的视图共享二部图，用于早期阶段融合。
• 对视图共享二部图执行快速图分割，从不同视图组生成一组多样化的基本聚类。
• 将多样化的基本聚类统一构建成一个二部图，用于后期阶段融合以完成最终聚类。
• 设计一种混合早期-晚期融合框架，可将单阶段早期融合和晚期融合作为特例进行推广。
• 通过避免昂贵的矩阵分解和迭代优化，确保几乎线性的时间和空间复杂度。

实验结果

研究问题

• RQ1 使用随机视图组的多阶段融合策略是否能超越单阶段早期或晚期融合，提升聚类性能？
• RQ2 所提出的混合早期-晚期融合框架是否能在大规模数据集上同时实现可扩展性和优越的聚类准确率？
• RQ3 该方法是否能在无需数据集特定超参数调优的情况下实现高性能？
• RQ4 与将所有视图置于一个组或每组仅一个视图的基线相比，使用多个随机视图组在聚类质量与鲁棒性方面表现如何？

主要发现

• FastMICES 在 22 个多视图数据集上实现了最先进聚类性能，其聚类准确率和标准化互信息均优于现有方法。
• 在包含 398,191 个样本的 YTF-400 数据集上，FastMICES 是唯一在合理时间内完成聚类的方法，耗时 263.81 秒；而 LMVSC、SMVSC 和 FPMVS-CAG 因内存溢出或运行时间过长而失败。
• 与单视图每组和所有视图集中于一组的基线相比，随机视图组的使用显著提升了多数数据集的性能，证明了多样化视图分组的有效性。
• FastMICES 实现了几乎线性的时间和空间复杂度，使其成为首个在不牺牲性能的前提下能有效扩展至超大规模数据集的 MVC 方法。
• 该方法无需任何数据集特定的超参数调优，显著提升了其实用性和部署便捷性。