[논문 리뷰] DealMVC: Dual Contrastive Calibration for Multi-view Clustering

Xihong Yang, Jiaqi Jin외 8명|arXiv (Cornell University)|2023. 08. 17.

Advanced Computing and Algorithms인용 수 7

한 줄 요약

DealMVC는 다중 시각 클러스터링을 위한 이중 대비 보정 프레임워크를 제안하며, 국소적 및 전역적 대비 손실을 공동 최적화하여 시각 간 기능 일致성을 향상시킵니다. 높은 신뢰도의 가짜 레이블과 함께 시각 유사성 그래프를 정렬하고 적응형 융합을 활용함으로써, 여덟 개인 벤치마크 데이터셋에서 최신 기술을 초월하는 클러스터링 성능을 향상시킵니다.

ABSTRACT

Benefiting from the strong view-consistent information mining capacity, multi-view contrastive clustering has attracted plenty of attention in recent years. However, we observe the following drawback, which limits the clustering performance from further improvement. The existing multi-view models mainly focus on the consistency of the same samples in different views while ignoring the circumstance of similar but different samples in cross-view scenarios. To solve this problem, we propose a novel Dual contrastive calibration network for Multi-View Clustering (DealMVC). Specifically, we first design a fusion mechanism to obtain a global cross-view feature. Then, a global contrastive calibration loss is proposed by aligning the view feature similarity graph and the high-confidence pseudo-label graph. Moreover, to utilize the diversity of multi-view information, we propose a local contrastive calibration loss to constrain the consistency of pair-wise view features. The feature structure is regularized by reliable class information, thus guaranteeing similar samples have similar features in different views. During the training procedure, the interacted cross-view feature is jointly optimized at both local and global levels. In comparison with other state-of-the-art approaches, the comprehensive experimental results obtained from eight benchmark datasets provide substantial validation of the effectiveness and superiority of our algorithm. We release the code of DealMVC at https://github.com/xihongyang1999/DealMVC on GitHub.

연구 동기 및 목표

• 기존의 다중 시각 클러스터링 방법이 유사하지만 다른 샘플을 간과하면서 동일한 샘플 간 일치성에만 초점을 맞추는 한계를 해결한다.
• 다른 시각에서 유사한 의미를 가진 샘플에 대해 명시적으로 교차 시각 일치성을 모델링하여 클러스터링 성능을 향상시킨다.
• 대비 보정과 가짜 레이블 정규화를 통해 국소적 및 전역적 특징 표현을 공동 최적화하는 통합 프레임워크를 개발한다.
• 적응형 융합 메커니즘과 신뢰할 수 있는 가짜 레이블 가이던스를 통해 특징 표현 품질을 향상시킨다.

제안 방법

• 다양한 시각 인코더에서 유래한 전역적 교차 시각 특징 표현을 생성하기 위한 적응형 융합 메커니즘을 설계한다.
• 시각 특징 유사성 그래프를 높은 신뢰도의 가짜 레이블 그래프와 정렬함으로써 유사 샘플에 대한 교차 시각 일관성을 유지하는 전역 대비 보정 손실을 도입한다.
• 신뢰할 수 있는 가짜 레이블을 활용하여 국소적 특징 구조를 정규화하고, 쌍별 시각 특징 간 일관성을 강제하는 국소 대비 보정 손실을 제안한다.
• 대비 및 가짜 레이블 일관성 목표를 통해 종단 간 훈련을 통해 국소 및 전역 수준에서 교차 시각 특징을 공동 최적화한다.
• 융합 모듈 내에서 학습 가능한 샘플링 네트워크와 어텐션 메커니즘을 활용하여 다중 시각 특징을 동적으로 가중 및 집계한다.
• t-SNE 시각화를 통해 학습된 임bedding에서 향상된 클러스터링 구조를 확인한다.

실험 결과

연구 질문

• RQ1 유사하지만 다른 샘플에 대해 교차 시각 일관성을 명시적으로 모델링하면 다중 시각 클러스터링 성능이 향상될 수 있는가?
• RQ2 제안된 이중 대비 보정 손실(국소 및 전역)이 특징 표현 향상과 클러스터링 정확도 향상에 얼마나 효과적인가?
• RQ3 적응형 융합 메커니즘이 모델의 전체 성능에 기여하는 정도는 어떠한가?
• RQ4 특히 전역 및 국소 대비 손실 간 무게 조정에 대해 DealMVC는 하이퍼파ram터 설정에 대해 얼마나 강인한가?

주요 결과

• DealMVC는 H-Digit 및 STL-10를 포함한 여덟 개의 벤치마크 데이터셋에서 최신 기술 성능을 달성하여 강력한 일반화 능력을 입증한다.
• 절단 실험 결과, 국소 또는 전역 대비 보정 모듈을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 각 모듈의 독립적 역할과 상호 보완적 기여를 확인한다.
• 학습 가능한 샘플링과 어텐션을 포함한 적응형 융합 메커니즘은 단순 연결보다 성능 향상이著명하여 교차 시각 특징 융합에서의 효과를 입증한다.
• 가짜 레이블 일관성 손실은 핵심적이다: 이를 제거하면 클러스터링 성능이 악화되며, 이는 특징 학습의 안정화 및 정규화에 기여하는 역할을 함을 시사한다.
• 하이퍼파라미터 분석 결과, 전역 손실 가중치 α는 성능에 강한 영향을 미치지만, μ는 미미한 영향을 미쳐 전역 대비 무게 조정에 민감함을 확인한다.
• t-SNE 시각화 결과, 원시 특징 및 기준 모델 대비 DealMVC가 더 분리되고 구분 가능한 클러스터링 구조를 학습함을 확인한다.