[论文解读] Contrastive Multi-Modal Clustering.

Jie Xu, Huayi Tang+3 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Image and Video Retrieval Techniques参考文献 26被引用 4

一句话总结

本文提出对比多模态聚类（CMMC），一种新颖的框架，通过对比学习提取跨多种模态的高层语义特征，同时保留低层多样性。通过整合特征对比模块和标签对比模块，CMMC在高层表征中最大化互信息，提升聚类性能，在多模态聚类基准上优于最先进方法。

ABSTRACT

Multi-modal clustering, which explores complementary information from multiple modalities or views, has attracted people's increasing attentions. However, existing works rarely focus on extracting high-level semantic information of multiple modalities for clustering. In this paper, we propose Contrastive Multi-Modal Clustering (CMMC) which can mine high-level semantic information via contrastive learning. Concretely, our framework consists of three parts. (1) Multiple autoencoders are optimized to maintain each modality's diversity to learn complementary information. (2) A feature contrastive module is proposed to learn common high-level semantic features from different modalities. (3) A label contrastive module aims to learn consistent cluster assignments for all modalities. By the proposed multi-modal contrastive learning, the mutual information of high-level features is maximized, while the diversity of the low-level latent features is maintained. In addition, to utilize the learned high-level semantic features, we further generate pseudo labels by solving a maximum matching problem to fine-tune the cluster assignments. Extensive experiments demonstrate that CMMC has good scalability and outperforms state-of-the-art multi-modal clustering methods.

研究动机与目标

• 解决现有多模态聚类方法中对高层语义表征学习关注不足的问题。
• 开发一种框架，在学习多视图共享语义特征的同时保留模态特定的多样性。
• 通过对比学习对齐模态间的聚类分配，以提升聚类性能。
• 使用最大匹配策略生成可靠的伪标签，以优化聚类分配。

提出的方法

• 对每种模态独立训练多个自编码器，以保留低层特征多样性并提取互补信息。
• 特征对比模块最大化不同模态高层表征之间的互信息。
• 标签对比模块通过最小化分配差异，确保所有模态间聚类分配的一致性。
• 通过最大匹配问题生成伪标签，以优化和微调聚类分配。
• 整个框架联合优化，以平衡特征对比、标签对比和重建目标。
• 该方法利用对比学习增强语义对齐，同时保持模态特定表征的多样性。

实验结果

研究问题

• RQ1 在聚类设置中，对比学习能否有效从多种模态中提取高层语义特征？
• RQ2 如何在保留低层多样性的同时，最大化不同模态高层特征之间的互信息？
• RQ3 能否通过标签对比模块在模态间学习到一致的聚类分配？
• RQ4 通过最大匹配生成的伪标签如何提升最终聚类性能？
• RQ5 所提出的CMMC框架是否具备良好的可扩展性，并优于现有最先进多模态聚类方法？

主要发现

• CMMC在基准数据集上的聚类性能优于最先进多模态聚类方法。
• 特征对比模块成功增强了不同模态之间语义对齐。
• 标签对比模块提高了所有模态间聚类分配的一致性。
• 通过最大匹配生成伪标签显著优化了聚类分配并提升了最终性能。
• 该框架在多样化多模态数据集上表现出强大的可扩展性和鲁棒性。
• 重建、特征对比和标签对比目标的联合优化带来了更优的聚类结果。