[논문 리뷰] Doubly Contrastive Deep Clustering

Zhiyuan Dang, Cheng Deng외 2명|arXiv (Cornell University)|2021. 03. 09.

Face and Expression Recognition참고 문헌 51인용 수 11

한 줄 요약

이 논문은 데이터 증강을 사용하여 샘플 수준 및 클래스 수준에서 동시에 비유사 학습을 적용하는 새로운 딥 클러스터링 프레임워크인 이중 대비 딥 클러스터링(DCDC)을 제안한다. 샘플 수준 및 클래스 수준의 대비 손실을 동시에 최적화함으로써 DCDC는 최신 기법 대비 도전적인 Tiny-ImageNet 데이터셋에서 정확도를 5.6% 향상시켜 최상의 성능을 달성한다.

ABSTRACT

Deep clustering successfully provides more effective features than conventional ones and thus becomes an important technique in current unsupervised learning. However, most deep clustering methods ignore the vital positive and negative pairs introduced by data augmentation and further the significance of contrastive learning, which leads to suboptimal performance. In this paper, we present a novel Doubly Contrastive Deep Clustering (DCDC) framework, which constructs contrastive loss over both sample and class views to obtain more discriminative features and competitive results. Specifically, for the sample view, we set the class distribution of the original sample and its augmented version as positive sample pairs and set one of the other augmented samples as negative sample pairs. After that, we can adopt the sample-wise contrastive loss to pull positive sample pairs together and push negative sample pairs apart. Similarly, for the class view, we build the positive and negative pairs from the sample distribution of the class. In this way, two contrastive losses successfully constrain the clustering results of mini-batch samples in both sample and class level. Extensive experimental results on six benchmark datasets demonstrate the superiority of our proposed model against state-of-the-art methods. Particularly in the challenging dataset Tiny-ImageNet, our method leads 5.6\% against the latest comparison method. Our code will be available at \url{https://github.com/ZhiyuanDang/DCDC}.

연구 동기 및 목표

• 데이터 증강에 의해 유도되는 양성 및 음성 쌍을 忽시하는 기존 딥 클러스터링 기법의 열악한 성능을 해결하기 위해.
• 샘플 및 클래스 시각에서 동시에 비유사 학습을 활용하여 클러스터링 성능을 향상시키기 위해.
• 더 구분력 있는 표현을 얻기 위해 샘플 수준 및 클래스 수준의 대비 손실을 동시에 최적화하는 통합 프레임워크를 설계하기 위해.
• 비유사 기반 딥 클러스터링에 효과적인 학습 전략, 예를 들어 샘플 반복 및 배치 크기 선택에 대해 조사하기 위해.

제안 방법

• 방법은 데이터 증강에서 유도된 양성 및 음성 쌍을 구성한다: 원본 및 증강된 샘플은 양성 쌍을 이루며, 다른 샘플의 다양한 증강은 음성 쌍을 이룬다.
• 샘플 수준의 대비 손실을 적용하여 특징 공간에서 양성 샘플 쌍은 가까이, 음성 쌍은 멀리 오도록 한다.
• 원본 및 증강된 샘플의 클래스 분포를 양성 쌍으로 간주하고, 다른 클래스 분포를 음성 쌍으로 간주함으로써 클래스 수준의 대비 손실을 도입한다.
• 엔드 투 엔드 학습 중에 두 대비 손실을 동시에 최적화하여 특징 표현과 클러스터링 할당을 정교화한다.
• 분류 헤드가 부착된 백본 네트워크를 사용하며, 대비 손실은 클러스터링 할당 이전의 출력 특징에 적용된다.
• 과다 클러스터링, 샘플 반복, 배치 크기 등의 추론 실험을 통해 효과적인 학습 관행을 규명한다.

실험 결과

연구 질문

• RQ1 샘플 수준 및 클래스 수준에서 동시에 비유사 학습을 최적화하면 딥 클러스터링 성능이 향상되는가?
• RQ2 데이터 증강에서 파생된 양성 및 음성 쌍을 명시적으로 모델링할 경우 클러스터링 품질에 어떤 영향을 미치는가?
• RQ3 샘플 반복 및 배치 크기가 비유사 기반 딥 클러스터링에 미치는 영향은 무엇인가?
• RQ4 제안된 이중 시각의 대비 손실은 더 블록-대각형 샘플 수준의 유사도 행렬과 대각선에 가까운 클래스 수준의 유사도 행렬을 유도하는가?

주요 결과

• DCDC는 6개의 벤치마크 데이터셋에서 최상의 성능을 기록하였으며, 최신 기법 대비 Tiny-ImageNet에서 정확도를 5.6% 향상시켰다.
• CIFAR-100에서 DCDC는 34.9%의 정확도를 기록하여 기준 기법보다 5.1%포인트 높은 성능을 보였다.
• t-SNE 시각화 결과 DCDC는 PICA보다 더 조밀하고 잘 분리된 클러스터를 생성하여 더 뛰어난 특징의 구분력이 있음을 보여주었다.
• DCDC의 샘플 수준 유사도 행렬은 PICA보다 더 명확한 블록-대각형 구조를 보이며, 샘플 수준의 비유사 학습의 효과를 확인한다.
• DCDC의 클래스 수준 유사도 행렬은 대각선에 더 가까워졌으며, 클래스 수준의 비유사 손실이 클래스 수준의 클러스터링 일관성을 향상시킨다는 것을 입증한다.
• 샘플 반복은 성능을 약간 향상시키며, CIFAR-100에서 정확도가 32.8%에서 34.9%로 상승하여 특징 추출 능력 향상을 시사한다.