[论文解读] Decoupled Contrastive Multi-View Clustering with High-Order Random Walks

Yiding Lu, Yijie Lin+4 more|arXiv (Cornell University)|Aug 22, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出DIVIDE，一种新颖的对比多视角聚类方法，通过在亲和图上使用高阶随机游走识别假阴性和假阳性样本，实现全局、鲁棒的样本对选择。通过在独立的嵌入空间中解耦视角内和视角间对比学习，DIVIDE提升了聚类性能和对缺失视角的鲁棒性，在四个基准数据集的完整和不完整设置下，优于九种SOTA方法。

ABSTRACT

In recent, some robust contrastive multi-view clustering (MvC) methods have been proposed, which construct data pairs from neighborhoods to alleviate the false negative issue, i.e., some intra-cluster samples are wrongly treated as negative pairs. Although promising performance has been achieved by these methods, the false negative issue is still far from addressed and the false positive issue emerges because all in- and out-of-neighborhood samples are simply treated as positive and negative, respectively. To address the issues, we propose a novel robust method, dubbed decoupled contrastive multi-view clustering with high-order random walks (DIVIDE). In brief, DIVIDE leverages random walks to progressively identify data pairs in a global instead of local manner. As a result, DIVIDE could identify in-neighborhood negatives and out-of-neighborhood positives. Moreover, DIVIDE embraces a novel MvC architecture to perform inter- and intra-view contrastive learning in different embedding spaces, thus boosting clustering performance and embracing the robustness against missing views. To verify the efficacy of DIVIDE, we carry out extensive experiments on four benchmark datasets comparing with nine state-of-the-art MvC methods in both complete and incomplete MvC settings.

研究动机与目标

• 为解决基于局部邻域的样本对选择在对比多视角聚类中持续存在的假阴性（FN）和假阳性（FP）问题。
• 克服现有基于邻域的方法中对所有邻域内样本视为正例、所有邻域外样本视为负例所导致的过度纠正和纠正不足问题。
• 通过解耦学习架构，在保留视角特异性信息的同时增强跨视角一致性，从而提升聚类性能。
• 实现在不完整多视角设置下的鲁棒性能，即推理过程中某些视角可能缺失。

提出的方法

• DIVIDE在亲和图上执行多步随机游走，计算锚点与其邻居之间的高阶亲和度，从而实现对一阶邻域之外数据对的全局识别。
• 高阶亲和度使模型能够将邻域内跨聚类样本识别为负例（减少FP），并将邻域外同聚类样本识别为正例（减少FN）。
• 采用解耦对比学习框架，在独立的嵌入空间中分别执行视角内和视角间对比学习，使用视角特定的孪生编码器和跨视角解码器。
• 框架采用在线和目标编码器，并通过EMA-based动量更新稳定训练，全连接网络中包含BatchNorm和ReLU层。
• 从第100个训练周期开始应用随机游走过程，通过可视化转移矩阵展示随时间推移假阴性检测的渐进性。
• 该方法集成跨视角解码器，利用一个视角的表示重建另一个视角的特征，从而在不混合视角内与视角间学习的前提下促进跨视角一致性。

实验结果

研究问题

• RQ1 在亲和图上使用高阶随机游走是否能有效减少对比多视角聚类中的假阴性和假阳性问题？
• RQ2 与基于局部邻域的样本对选择相比，通过随机游走实现的全局样本对选择在聚类准确率和鲁棒性方面表现如何？
• RQ3 解耦视角内与视角间对比学习在多大程度上提升了聚类性能和视角特异性表征学习？
• RQ4 在推理过程中部分视角缺失的不完整多视角设置下，所提方法表现如何？

主要发现

• DIVIDE在四个基准数据集——Scene-15、Caltech101、Reuters和LandUse21——上，在完整和不完整多视角设置下均达到SOTA性能。
• 在Reuters数据集上，模型在第200个训练周期达到59.1%的准确率（采用基于随机游走的假阴性修正），而未使用该方法时仅为56.2%，证明了所提假阴性识别方法的有效性。
• t-SNE特征可视化显示，应用基于随机游走的修正后，聚类显著变得更紧凑且分离度更高，尤其在训练第100个周期后更为明显。
• 多步随机游走生成的转移矩阵随时间推移逐渐与真实类别标签对齐，证实了该方法能够检测一阶邻域之外的同聚类样本。
• 解耦架构在保留视角特异性信息的同时增强了跨视角一致性，相比联合学习框架，显著提升了聚类性能。
• 大量消融实验确认，随机游走机制和解耦对比学习设计对方法卓越性能均至关重要。