[논문 리뷰] Deep Multiview Clustering by Contrasting Cluster Assignments

Jie Chen, Hua Mao외 2명|arXiv (Cornell University)|2023. 04. 21.

Video Analysis and Summarization참고 문헌 39인용 수 4

한 줄 요약

이 논문은 다중 시각 간 클러스터 할당을 대비하여 시각 불변 표현 학습을 향상시키기 위해 클러스터 할당을 대비하는 두 단계의 딥 다중시각 군집화 방법인 크로스뷰 대비 학습(CVCL)을 제안한다. 클러스터 수준의 대비 손실을 통해 소프트 클러스터 할당을 정렬함으로써, CVCL은 일곱 개인 다중시각 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 사전학습 단계에서 기준 방법에 비해 뚜렷한 향상을 보인다.

ABSTRACT

Multiview clustering (MVC) aims to reveal the underlying structure of multiview data by categorizing data samples into clusters. Deep learning-based methods exhibit strong feature learning capabilities on large-scale datasets. For most existing deep MVC methods, exploring the invariant representations of multiple views is still an intractable problem. In this paper, we propose a cross-view contrastive learning (CVCL) method that learns view-invariant representations and produces clustering results by contrasting the cluster assignments among multiple views. Specifically, we first employ deep autoencoders to extract view-dependent features in the pretraining stage. Then, a cluster-level CVCL strategy is presented to explore consistent semantic label information among the multiple views in the fine-tuning stage. Thus, the proposed CVCL method is able to produce more discriminative cluster assignments by virtue of this learning strategy. Moreover, we provide a theoretical analysis of soft cluster assignment alignment. Extensive experimental results obtained on several datasets demonstrate that the proposed CVCL method outperforms several state-of-the-art approaches.

연구 동기 및 목표

• 딥 다중시각 군집화에서 일관되고 시각 불변 표현을 학습하는 데 도전하는 문제를 해결하기 위해.
• 다양한 시각 간 의미론적 레이블 정보를 명시적으로 정렬하여 군집화 성능을 향상시키기 위해.
• 원시 특징이나 임베딩이 아닌 클러스터 할당을 대비하는 클러스터 수준의 대비 학습 전략을 개발하기 위해.
• 소프트 클러스터 할당 정렬을 위한 다중시각 표현 학습에서의 이론적 기반을 제공하기 위해.
• 다양한 다중시각 데이터셋에서 광범위한 실험과 분석을 통해 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 이 방법은 사전학습 단계에서 딥 오토에인코더를 사용해 시각별 특징을 추출하고, 이후 대비 학습을 통한 미세조정 단계를 거치는 두 단계 학습 체계를 채택한다.
• 다른 시각 간 K차원 클러스터 할당 확률을 대비하기 위한 클러스터 수준의 크로스뷰 대비 학습(CVCL) 전략을 도입한다.
• 대비 손실은 동일한 데이터 샘플이 여러 시각에서 나타나는 양성 쌍에 대해 유사한 클러스터 할당을 유도하고, 음성 쌍에 대해서는 이를 분리하도록 유도한다.
• 전체 손실 함수는 재구성 손실, 클러스터 할당 대비 손실, 그리고 소프트 할당을 위한 일관성 정규화 항을 조합한다.
• 모델은 시각별로 특화된 인코더와 공유되는 군집 헤드를 사용하여 클러스터 할당을 생성하며, 대비 학습을 통해 시각 간 정렬을 강제한다.
• 일부 조건 하에서 소프트 클러스터 할당 정렬의 실현 가능성을 정당화하기 위한 이론적 분석을 제공한다.

Figure 1: The framework of CVCL. Each view contains two modules, including a view-specific autoencoder module and a CVCL module. The multilayer perceptron (MLP) consists of multiple linear layers. The view-specific autoencoder module contains the encoding part and the decoding part, i.e., $\left\{{f

실험 결과

연구 질문

• RQ1 다양한 시각 간 클러스터 할당을 대비함으로써 딥 다중시각 군집화에서 시각 불변 표현 학습을 향상시킬 수 있는가?
• RQ2 기존의 특징 또는 임베딩 공간 정렬에 초점을 맞춘 대비 학습 방법과 비교할 때, 제안된 클러스터 수준의 대비 학습 전략은 어떻게 다른가?
• RQ3 사전학습 단계가 특히 작은 데이터셋에서 군집화 성능 향상에 기여하는 정도는 어떠한가?
• RQ4 손실 함수의 하이퍼파ram터 α와 β에 대한 모델 성능의 민감도는 어떠한가?
• RQ5 제안된 프레임워크에서 소프트 클러스터 할당 정렬의 이론적 근거는 무엇인가?

주요 결과

• 제안된 CVCL 방법은 일곱 개인 다중시각 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 딥 MVC 방법들을 능가한다.
• 사전학습 단계는 군집화 성능 향상에 뚜렷한 기여를 하며, MSRC-v1 데이터셋에서 사전학습-미세조정 유형에 비해 ACC가 각각 5.24%, 18.81%, 15.24% 향상되었다.
• MNIST-USPS 및 패션과 같은 더 큰 데이터셋에서는 사전학습과 미세조정 간 성능 격차가 줄어들어 0.08%에서 0.22%의 ACC 향상에 그치며, 성능 향상 폭이 작아진다.
• 분석 결과, 클러스터 할당 대비 손실(L_a)이 매우 중요함을 확인하였으며, 이를 제거할 경우 군집화 성능이 급격히 떨어진다.
• 더 큰 데이터셋에서는 α와 β 값의 변화에 대해 안정적인 성능를 보이며, MSRC-v1와 같은 더 작은 데이터셋에서는 성능 변동이 더 크다.
• 수렴 분석 결과, 재구성 손실과 대비 손실 함수가 모두 안정적으로 감소하고 수렴하는 것으로 나타나, 안정적인 최적화가 이루어지고 있음을 확인하였다.