[论文解读] Guided Co-training for Large-Scale Multi-View Spectral Clustering

Tyng-Luh Liu|arXiv (Cornell University)|Jul 18, 2017

Face and Expression Recognition参考文献 2被引用 13

一句话总结

本文提出了一种基于地标点近似的引导协同训练的大规模多视角谱聚类方法，以降低计算复杂度。通过采样少量地标点并构建信息丰富的增强视图，该方法在五个基准数据集上实现了最先进（SOTA）的聚类性能，且与数据规模呈线性可扩展性。

ABSTRACT

In many real-world applications, we have access to multiple views of the data, each of which characterizes the data from a distinct aspect. Several previous algorithms have demonstrated that one can achieve better clustering accuracy by integrating information from all views appropriately than using only an individual view. Owing to the effectiveness of spectral clustering, many multi-view clustering methods are based on it. Unfortunately, they have limited applicability to large-scale data due to the high computational complexity of spectral clustering. In this work, we propose a novel multi-view spectral clustering method for large-scale data. Our approach is structured under the guided co-training scheme to fuse distinct views, and uses the sampling technique to accelerate spectral clustering. More specifically, we first select $p$ ($\ll n$) landmark points and then approximate the eigen-decomposition accordingly. The augmented view, which is essential to guided co-training process, can then be quickly determined by our method. The proposed algorithm scales linearly with the number of given data. Extensive experiments have been performed and the results support the advantage of our method for handling the large-scale multi-view situation.

研究动机与目标

• 解决大规模多视角数据设置下谱聚类的高计算复杂度问题。
• 将引导协同训练框架扩展至大规模多视角谱聚类，以实现可扩展性。
• 开发一种高效的近似方法，在降低时间复杂度的同时保持聚类准确性。
• 利用地标点构建信息丰富的增强视图，以指导多视图间的协同训练。
• 在保持优于现有大规模多视角聚类方法性能的同时，实现与数据规模的线性可扩展性。

提出的方法

• 从完整数据集中采样 p 个地标点（p ≪ n），这些地标点在所有视图中共享，以降低亲和矩阵的维度。
• 使用类似 Nystroem 的近似方法，基于地标点计算拉普拉斯矩阵的特征分解，从而实现快速谱聚类。
• 通过一种新颖的标准构建增强视图，以最大化从所有视图中获得的信息增益，从而引导协同训练过程。
• 算法通过迭代更新每个视图的亲和矩阵，利用增强视图促进多视图间的一致性。
• 最终在从增强视图导出的一致性亲和矩阵上执行聚类，确保结果的稳定性和准确性。
• 该方法采用基于数据点与地标点之间近邻关系的稀疏表示矩阵，降低内存和计算成本。

实验结果

研究问题

• RQ1 引导协同训练能否被有效扩展至计算成本更低的大规模多视角谱聚类？
• RQ2 基于地标点的近似方法如何在与数据规模线性可扩展的同时保持聚类准确性？
• RQ3 构建信息丰富增强视图的最优方式是什么，以提升多视图聚类性能？
• RQ4 与现有大规模多视角聚类方法相比，所提方法在准确性和效率方面表现如何？
• RQ5 地标点数量在多大程度上影响聚类性能和稳定性？

主要发现

• 所提方法在五个基准数据集上实现了最先进性能，优于现有方法（包括 MVSC-B 和拼接 LSC）。
• 在 Reuters 数据集上，该方法达到 0.508 的准确率和 0.337 的 NMI，优于 MVSC-B（0.502 准确率，0.335 NMI）。
• 在 MNIST 数据集上，该方法达到 0.754 的准确率和 0.753 的 NMI，超过 MVSC-B（0.740 准确率，0.708 NMI）。
• 在 USPS 数据集上，该方法达到 0.738 的准确率和 0.772 的 NMI，优于 MVSC-B（0.726 准确率，0.765 NMI）。
• 随着地标点数量增加，性能持续提升，但方差较低，表明即使在中等大小的地标集下也具有鲁棒性。
• 该方法与数据规模呈线性可扩展性，适用于标准谱聚类不可行的大规模应用场景。