[论文解读] GCFAgg: Global and Cross-view Feature Aggregation for Multi-view Clustering

Weiqing Yan, Yuanyang Zhang+5 more|arXiv (Cornell University)|May 11, 2023

Face and Expression Recognition被引用 5

一句话总结

该论文提出GCFAggMVC，一种新颖的多视图聚类框架，通过全局和跨视图特征聚合增强共识表征，并利用结构引导对比学习对齐视特定特征与共识特征。该方法通过建模样本间相似性并提升跨视图的聚类一致性，在完整和不完整多视图聚类基准上均取得了最先进性能。

ABSTRACT

Multi-view clustering can partition data samples into their categories by learning a consensus representation in unsupervised way and has received more and more attention in recent years. However, most existing deep clustering methods learn consensus representation or view-specific representations from multiple views via view-wise aggregation way, where they ignore structure relationship of all samples. In this paper, we propose a novel multi-view clustering network to address these problems, called Global and Cross-view Feature Aggregation for Multi-View Clustering (GCFAggMVC). Specifically, the consensus data presentation from multiple views is obtained via cross-sample and cross-view feature aggregation, which fully explores the complementary ofsimilar samples. Moreover, we align the consensus representation and the view-specific representation by the structure-guided contrastive learning module, which makes the view-specific representations from different samples with high structure relationship similar. The proposed module is a flexible multi-view data representation module, which can be also embedded to the incomplete multi-view data clustering task via plugging our module into other frameworks. Extensive experiments show that the proposed method achieves excellent performance in both complete multi-view data clustering tasks and incomplete multi-view data clustering tasks.

研究动机与目标

• 为解决现有深度多视图聚类方法依赖视特定融合和样本级对比学习的局限性，这些方法未能充分利用样本间的结构关系。
• 通过建模所有样本之间的全局相似性关系，学习共识表征，以减少视特定表征中的噪声和冗余。
• 通过结构引导对比学习模块对齐视特定表征与共识表征，优先考虑类内相似性，从而提升聚类性能。
• 设计一个灵活的模块，可集成到现有框架中，用于不完整多视图数据聚类。

提出的方法

• 设计了一个全局与跨视图特征聚合（GCFAgg）模块，用于学习所有样本之间的全局相似性矩阵，并基于样本间关系生成共识表征。
• 首先使用基于自编码器的编码网络学习视特定表征，以重建原始输入数据。
• 通过结构引导对比学习（SgCL）模块，将具有高结构相似性的样本视为正样本对，即使来自不同视图，以对齐共识表征与视特定表征。
• SgCL模块最小化结构关系较弱的样本表示之间的相似性，从而提升聚类一致性。
• 将GCFAgg与SgCL模块整合到端到端训练流程中，实现表征学习与聚类的联合优化。
• 该方法模块化，可轻松嵌入其他多视图聚类框架中，尤其适用于不完整数据场景。

实验结果

研究问题

• RQ1 所有样本之间的全局样本间相似性关系是否能改善多视图聚类中的共识表征学习？
• RQ2 用结构引导对比学习替代样本级对比学习，是否能通过更好地对齐类内表征来提升聚类性能？
• RQ3 所提出的GCFAggMVC框架是否能在完整与不完整多视图聚类任务上均实现最先进性能？
• RQ4 所提出的GCFAgg模块在减少共识表征中视私有噪声与冗余方面的有效性如何？

主要发现

• GCFAggMVC在完整多视图聚类基准上实现了最先进性能，Prokaryotic数据集ACC为0.6225，CCV数据集ACC为0.3543，MNIST-USPS数据集ACC为0.9956。
• 消融实验表明，移除GCFAgg模块后，Prokaryotic数据集ACC下降18.22%，CCV数据集下降14.21%，MNIST-USPS数据集下降2.03%，证明其在降噪与表征增强方面的有效性。
• 与标准对比学习相比，SgCL模块在Prokaryotic数据集上使ACC提升14.21%，在CCV数据集上提升30.07%，证实其在保持类内相似性方面的优越性。
• t-SNE可视化结果表明，GCFAggMVC学习到的共识特征比拼接的视特定特征或原始表征能产生更清晰、更分离的聚类。
• 该方法对超参数λ和τ具有鲁棒性，在广泛取值范围内均保持稳定性能，验证了其实际可用性。
• 消融实验确认GCFAgg与SgCL两个组件均不可或缺，任一移除均导致性能显著下降。