[论文解读] Deep Multiview Clustering by Contrasting Cluster Assignments

Jie Chen, Hua Mao+2 more|arXiv (Cornell University)|Apr 21, 2023

Video Analysis and Summarization参考文献 39被引用 4

一句话总结

本文提出交叉视图对比学习（CVCL），一种两阶段深度多视图聚类方法，通过在多个视图之间对比聚类分配，增强视图不变表示学习。通过在聚类级别使用对比损失对齐软聚类分配，CVCL在七个多视图数据集上实现了最先进性能，相较于基线方法有显著提升，尤其在预训练阶段表现突出。

ABSTRACT

Multiview clustering (MVC) aims to reveal the underlying structure of multiview data by categorizing data samples into clusters. Deep learning-based methods exhibit strong feature learning capabilities on large-scale datasets. For most existing deep MVC methods, exploring the invariant representations of multiple views is still an intractable problem. In this paper, we propose a cross-view contrastive learning (CVCL) method that learns view-invariant representations and produces clustering results by contrasting the cluster assignments among multiple views. Specifically, we first employ deep autoencoders to extract view-dependent features in the pretraining stage. Then, a cluster-level CVCL strategy is presented to explore consistent semantic label information among the multiple views in the fine-tuning stage. Thus, the proposed CVCL method is able to produce more discriminative cluster assignments by virtue of this learning strategy. Moreover, we provide a theoretical analysis of soft cluster assignment alignment. Extensive experimental results obtained on several datasets demonstrate that the proposed CVCL method outperforms several state-of-the-art approaches.

研究动机与目标

• 解决在深度多视图聚类中学习一致、视图不变表示的挑战。
• 通过显式对齐多个视图之间的语义标签信息来提升聚类性能。
• 开发一种聚类级别的对比学习策略，对比聚类分配而非原始特征或嵌入表示。
• 为多视图表示学习中软聚类分配对齐提供理论基础。
• 通过在多样化多视图数据集上的大量实验与消融研究，验证所提方法的有效性。

提出的方法

• 该方法采用两阶段训练方案：首先使用深度自编码器进行预训练以提取视图特定的特征，随后通过对比学习进行微调。
• 提出一种聚类级别的跨视图对比学习（CVCL）策略，用于对比不同视图之间的K维聚类分配概率。
• 对比损失促使正样本对（同一数据样本在不同视图中的表示）具有相似的聚类分配，同时将负样本对的分配相互推开。
• 整体损失函数结合了重建损失、聚类分配对比损失以及用于软分配的一致性正则化项。
• 模型使用视图特定的编码器和共享的聚类头生成聚类分配，对比学习在视图间强制对齐。
• 提供了理论分析，以证明在特定条件下软聚类分配对齐的可行性。

Figure 1: The framework of CVCL. Each view contains two modules, including a view-specific autoencoder module and a CVCL module. The multilayer perceptron (MLP) consists of multiple linear layers. The view-specific autoencoder module contains the encoding part and the decoding part, i.e., $\left\{{f

实验结果

研究问题

• RQ1 在多个视图之间对比聚类分配是否能改善深度多视图聚类中视图不变表示的学习？
• RQ2 所提出的聚类级别对比学习策略与现有聚焦于特征或嵌入空间对齐的对比学习方法相比有何差异？
• RQ3 预训练阶段在提升聚类性能方面有何贡献，特别是在小数据集上？
• RQ4 模型性能对损失函数中超参数α和β的敏感性如何？
• RQ5 所提框架中软聚类分配对齐的理论基础是什么？

主要发现

• 所提出的CVCL方法在七个多视图数据集上实现了最先进性能，优于现有深度MVC方法。
• 预训练阶段显著提升了聚类性能，在MSRC-v1数据集上相较于仅微调的变体，ACC分别提升了5.24%、18.81%和15.24%。
• 在较大的数据集如MNIST-USPS和Fashion上，预训练与微调之间的性能差距减小，仅带来0.08%至0.22%的ACC提升。
• 消融研究证实，聚类分配对比损失（L_a）至关重要，若移除该损失，聚类性能将急剧下降。
• 在较大数据集上，模型在不同α和β值下表现出稳定性能，但在较小数据集如MSRC-v1上性能波动更大。
• 收敛性分析表明，重建损失和对比损失函数均随训练稳步下降并最终收敛，表明优化过程稳定。