[논문 리뷰] Contrastive Multi-Modal Clustering.

Jie Xu, Huayi Tang외 3명|arXiv (Cornell University)|2021. 06. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 대조적 학습을 활용하여 다중 모odal 간 고수준 의미 특징을 추출하면서도 저수준의 다양성을 유지하는 새로운 프레임워크인 대비 다중모odal 클러스터링(CMMC)을 제안한다. 특징과 레이블 대비 모듈을 통합함으로써 CMMC는 고수준 표현 간 상호정보를 최대화하고 클러스터링 성능을 향상시켜, 다중모달 클러스터링 벤치마크에서 최신 기법들을 능가한다.

ABSTRACT

Multi-modal clustering, which explores complementary information from multiple modalities or views, has attracted people's increasing attentions. However, existing works rarely focus on extracting high-level semantic information of multiple modalities for clustering. In this paper, we propose Contrastive Multi-Modal Clustering (CMMC) which can mine high-level semantic information via contrastive learning. Concretely, our framework consists of three parts. (1) Multiple autoencoders are optimized to maintain each modality's diversity to learn complementary information. (2) A feature contrastive module is proposed to learn common high-level semantic features from different modalities. (3) A label contrastive module aims to learn consistent cluster assignments for all modalities. By the proposed multi-modal contrastive learning, the mutual information of high-level features is maximized, while the diversity of the low-level latent features is maintained. In addition, to utilize the learned high-level semantic features, we further generate pseudo labels by solving a maximum matching problem to fine-tune the cluster assignments. Extensive experiments demonstrate that CMMC has good scalability and outperforms state-of-the-art multi-modal clustering methods.

연구 동기 및 목표

• 기존 다중모달 클러스터링 기법들이 고수준 의미 표현 학습에 초점을 맞추지 못한 점을 해결하기 위해.
• 다양한 시각에서 공유되는 의미 특징을 학습하면서도 모odal별 고유의 다양성을 유지할 수 있는 프레임워크를 개발하기 위해.
• 대조적 학습을 통해 다양한 모달 간 클러스터 할당을 정렬함으로써 클러스터링 성능을 향상시키기 위해.
• 최대 매칭 전략을 사용하여 신뢰할 수 있는 가짜 레이블을 생성하고 클러스터 할당을 정밀 조정하기 위해.

제안 방법

• 저수준 특징의 다양성을 유지하고 보완 정보를 추출하기 위해 각 모달별로 독립적으로 다중 오토인코더를 훈련한다.
• 특징 대비 모듈은 서로 다른 모달에서 유도된 고수준 표현 간의 상호정보를 최대화한다.
• 레이블 대비 모듈은 할당 불일치를 최소화하여 모든 모달 간 일관된 클러스터 할당을 보장한다.
• 클러스터 할당을 정밀 조정하기 위해 최대 매칭 문제를 통해 가짜 레이블을 생성한다.
• 특징 대비, 레이블 대비, 복원 목표 간 균형을 맞추기 위해 전체 프레임워크를 공동 최적화한다.
• 대조적 학습을 활용하여 의미 정렬을 향상시키면서도 모달별 표현 다양성을 유지한다.

실험 결과

연구 질문

• RQ1 클러스터링 설정에서 대조적 학습이 다중 모달 간 고수준 의미 특징을 효과적으로 추출할 수 있는가?
• RQ2 저수준 다양성을 유지하면서 서로 다른 모달 간 고수준 특징 간 상호정보를 어떻게 최대화할 수 있는가?
• RQ3 레이블 대비 모듈을 통해 다양한 모달 간 일관된 클러스터 할당을 학습할 수 있는가?
• RQ4 최대 매칭에서 유도된 가짜 레이블의 사용이 최종 클러스터링 성능을 어떻게 향상시키는가?
• RQ5 제안된 CMMC 프레임워크는 효과적으로 확장 가능하며 기존 최신 기법들을 능가하는가?

주요 결과

• CMMC는 벤치마크 데이터셋에서 최신 다중모달 클러스터링 기법들보다 뛰어난 클러스터링 성능을 달성한다.
• 특징 대비 모듈은 서로 다른 모달 간 의미 정렬을 성공적으로 향상시켰다.
• 레이블 대비 모듈은 모든 모달 간 클러스터 할당의 일관성을 향상시켰다.
• 최대 매칭을 통한 가짜 레이블 생성은 클러스터 할당을 크게 정밀 조정하고 최종 성능을 향상시켰다.
• 프레임워크는 다양한 다중모달 데이터셋에서 강력한 확장성과 강인성을 보였다.
• 복원, 특징 대비, 레이블 대비 목표의 공동 최적화는 향상된 클러스터링 결과를 이끌어냈다.