[论文解读] DealMVC: Dual Contrastive Calibration for Multi-view Clustering

Xihong Yang, Jiaqi Jin+8 more|arXiv (Cornell University)|Aug 17, 2023

Advanced Computing and Algorithms被引用 7

一句话总结

DealMVC 提出了一种用于多视图聚类的双重对比校准框架，通过联合优化局部和全局对比损失，增强了视图之间的特征一致性。通过将视图相似性图与高置信度伪标签图对齐并利用自适应融合机制，该方法在八个基准数据集上提升了聚类性能，优于当前最先进方法。

ABSTRACT

Benefiting from the strong view-consistent information mining capacity, multi-view contrastive clustering has attracted plenty of attention in recent years. However, we observe the following drawback, which limits the clustering performance from further improvement. The existing multi-view models mainly focus on the consistency of the same samples in different views while ignoring the circumstance of similar but different samples in cross-view scenarios. To solve this problem, we propose a novel Dual contrastive calibration network for Multi-View Clustering (DealMVC). Specifically, we first design a fusion mechanism to obtain a global cross-view feature. Then, a global contrastive calibration loss is proposed by aligning the view feature similarity graph and the high-confidence pseudo-label graph. Moreover, to utilize the diversity of multi-view information, we propose a local contrastive calibration loss to constrain the consistency of pair-wise view features. The feature structure is regularized by reliable class information, thus guaranteeing similar samples have similar features in different views. During the training procedure, the interacted cross-view feature is jointly optimized at both local and global levels. In comparison with other state-of-the-art approaches, the comprehensive experimental results obtained from eight benchmark datasets provide substantial validation of the effectiveness and superiority of our algorithm. We release the code of DealMVC at https://github.com/xihongyang1999/DealMVC on GitHub.

研究动机与目标

• 解决现有多视图聚类方法仅关注视图间相同样本一致性，而忽略相似但不同样本的问题。
• 通过显式建模来自不同视图的语义相似样本之间的跨视图一致性，提升聚类性能。
• 开发一个统一框架，通过对比校准和伪标签正则化，联合优化局部和全局特征表示。
• 通过自适应融合机制和可靠的伪标签引导，提升特征表示质量。

提出的方法

• 设计一种自适应融合机制，从多个视图编码器生成全局跨视图特征表示。
• 引入一种全局对比校准损失，将视图特征相似性图与高置信度伪标签图对齐，以保留相似样本的跨视图一致性。
• 提出一种局部对比校准损失，通过可靠伪标签正则化局部特征结构，强制成对视图特征之间的一致性。
• 通过端到端训练，联合优化局部和全局层次的跨视图特征，结合对比损失和伪标签一致性目标。
• 在融合模块中引入可学习采样网络和注意力机制，动态加权并聚合多视图特征。
• 使用 t-SNE 可视化方法展示学习到的嵌入中聚类结构的改善。

实验结果

研究问题

• RQ1 对相似但不同的样本显式建模跨视图一致性是否能提升多视图聚类性能？
• RQ2 所提出的双重对比校准损失（局部和全局）在增强特征表示和聚类准确率方面有多有效？
• RQ3 自适应融合机制对模型整体性能的贡献是什么？
• RQ4 DealMVC 对超参数设置（特别是全局与局部对比损失之间的权衡）有多鲁棒？

主要发现

• DealMVC 在八个基准数据集（包括 H-Digit 和 STL-10）上实现了最先进性能，展现出强大的泛化能力。
• 消融实验表明，移除局部或全局对比校准模块均导致性能显著下降，证实了二者在功能上的独立性与互补性。
• 结合可学习采样和注意力机制的自适应融合机制显著优于简单拼接方法，验证了其在跨视图特征聚合中的有效性。
• 伪标签一致性损失至关重要：移除该损失会导致聚类性能下降，表明其在稳定和正则化特征学习中的关键作用。
• 超参数分析显示，全局损失权重 α 对性能有显著影响，而 μ 的影响较小，表明对全局对比损失权衡较为敏感。
• t-SNE 可视化结果证实，与原始特征和基线方法相比，DealMVC 学习到的聚类结构更具判别性且分离更清晰。