[논문 리뷰] Deep Robust Clustering by Contrastive Learning

Huasong Zhong, Chong Chen외 2명|arXiv (Cornell University)|2020. 08. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 43

한 줄 요약

DRC는 대조 학습을 통해 할당 확률과 할당 특징을 함께 최적화하는 한 단계의 딥 클러스터링 방법을 도입하여 최첨단 방법에 비해 클러스터링의 안정성과 정확도를 향상시킵니다. 이는 상호 정보량을 두 가지 대조 손실과 클러스터 정규화 항으로 프레이밍합니다.

ABSTRACT

Recently, many unsupervised deep learning methods have been proposed to learn clustering with unlabelled data. By introducing data augmentation, most of the latest methods look into deep clustering from the perspective that the original image and its transformation should share similar semantic clustering assignment. However, the representation features could be quite different even they are assigned to the same cluster since softmax function is only sensitive to the maximum value. This may result in high intra-class diversities in the representation feature space, which will lead to unstable local optimal and thus harm the clustering performance. To address this drawback, we proposed Deep Robust Clustering (DRC). Different from existing methods, DRC looks into deep clustering from two perspectives of both semantic clustering assignment and representation feature, which can increase inter-class diversities and decrease intra-class diversities simultaneously. Furthermore, we summarized a general framework that can turn any maximizing mutual information into minimizing contrastive loss by investigating the internal relationship between mutual information and contrastive learning. And we successfully applied it in DRC to learn invariant features and robust clusters. Extensive experiments on six widely-adopted deep clustering benchmarks demonstrate the superiority of DRC in both stability and accuracy. e.g., attaining 71.6% mean accuracy on CIFAR-10, which is 7.1% higher than state-of-the-art results.

연구 동기 및 목표

• 깊은 클러스터링에서 할당 확률만을 사용할 때 내부 클래스 다양성으로 인한 불안정성을 동기부여하고 해결합니다.
• 대조 학습을 통해 불변의 클러스터 할당과 불변 특징 모두를 학습하는 프레임워크를 제안합니다.
• 상호 정보량을 최대화하는 것이 실현 가능한 대조 손실을 최소화하는 것으로 변환될 수 있음을 보여줍니다.
• 다수의 표준 클러스터링 벤치마크에서의 강건성과 정확도 향상을 입증합니다.

제안 방법

• CNN과 소프트맥스를 통해 할당 특징 z와 할당 확률 p를 정의합니다.
• 두 보기의 원본 샘플과 증강 샘플 간의 상호 정보량을 두 가지 보기에서 최대화합니다: 할당 확률(전역 뷰)과 할당 특징(로컬 뷰).
• 상호 정보량 목표를 두 개의 대조 손실로 변환합니다: L_AF(할당 특징)와 L_AP(할당 확률).
• 무의미한 해를 방지하고 학습을 안정시키기 위해 클러스터 정규화 손실 L_CR를 추가합니다.
• ResNet 기반 백본, 배치 크기 256, 증강 쌍을 사용하여 Adam으로 엔드투엔드로 학습합니다; 하이퍼파라미터는 AF용 T=0.5, AP용 T=0.95, λ=0.005를 포함합니다.

실험 결과

연구 질문

• RQ1 깊은 클러스터링 모델이 할당 확률과 할당 특징을 모두 고려함으로써 클래스 간 분리도와 클래스 내 응집성 모두를 향상시킬 수 있을까?
• RQ2 상호 정보량 최대화를 안정적인 학습을 위한 실용적인 대조 손실 집합으로 재해석하는 것이 가능할까?
• RQ3 DRC가 기존 방법들에 비해 표준 무지도 클러스터링 벤치마크에서 어떤 성능을 보이는가?
• RQ4 두 대조 손실과 클러스터 정규화 항에 대한 제거 실험이 어떤 영향을 미치는가?

주요 결과

• DRC는 여섯 개 벤치마크에서 최첨단 또는 근접 최첨단 클러스터링 성능을 달성하며, 베이스라인 및 기존 방법들에 비해 평균 정확도에서 상당한 이점을 보입니다.
• DRC는 초기화 간 클러스터링 결과의 분산을 감소시켜 안정성이 향상되었음을 보입니다.
• 두 대조 손실(AP와 AF) 모두 성능에 기여하며, 일반적으로 AP가 클러스터링 정확도에 더 큰 직접적 영향을 미칩니다.
• 클러스터 정규화(L_CR)는 더 어려운 데이터셋에서 특히 무의미한 해를 완화하고 결과를 개선합니다.
• 더 큰 배치 크기가 대조 학습 성능과 최종 클러스터링 지표를 향상시킵니다.
• DRC 하에서는 내부 클래스 분산이 감소하고 클래스 간 분산이 증가합니다.