[논문 리뷰] Exploring Non-Contrastive Representation Learning for Deep Clustering

Zhizhong Huang, Jie Chen외 2명|arXiv (Cornell University)|2021. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 4

한 줄 요약

이 논문은 BYOL 기반의 비대비적 딥 클러스터링 방법인 NCC를 제안하며, 클래스 충돌을 방지하기 위해 부정 예제를 제거한다. EM 프레임워크 내에서 양성 샘플링 전략과 원형 대비 손실을 도입함으로써 클러스터 내 밀도와 클러스터 간 분리도를 향상시켜 ImageNet-1K 및 기타 벤치마크에서 최신 기술 수준을 초월하는 성능을 달성한다.

ABSTRACT

Existing deep clustering methods rely on contrastive learning for representation learning, which requires negative examples to form an embedding space where all instances are well-separated. However, the negative examples inevitably give rise to the class collision issue, compromising the representation learning for clustering. In this paper, we explore non-contrastive representation learning for deep clustering, termed NCC, which is based on BYOL, a representative method without negative examples. First, we propose to align one augmented view of instance with the neighbors of another view in the embedding space, called positive sampling strategy, which avoids the class collision issue caused by the negative examples and hence improves the within-cluster compactness. Second, we propose to encourage alignment between two augmented views of one prototype and uniformity among all prototypes, named prototypical contrastive loss or ProtoCL, which can maximize the inter-cluster distance. Moreover, we formulate NCC in an Expectation-Maximization (EM) framework, in which E-step utilizes spherical k-means to estimate the pseudo-labels of instances and distribution of prototypes from a target network and M-step leverages the proposed losses to optimize an online network. As a result, NCC forms an embedding space where all clusters are well-separated and within-cluster examples are compact. Experimental results on several clustering benchmark datasets including ImageNet-1K demonstrate that NCC outperforms the state-of-the-art methods by a significant margin.

연구 동기 및 목표

• 대비 학습 기반 딥 클러스터링에서 발생하는 부정 예제 사용으로 인한 클래스 충돌 문제를 해결하기 위해.
• 비대비적 표현 학습이 딥 클러스터링을 위한 대비 방법의 타당한 대안이 될 수 있는지 탐색하기 위해.
• 부정 샘플링에 의존하지 않고도 클러스터 내 밀도와 클러스터 간 분리도를 향상시키기 위해.
• 에측 레이블링과 원형 학습을 EM 최적화 체계 내에 통합한 새로운 학습 프레임워크를 개발하기 위해.

제안 방법

• 한 인스턴스의 한 개의 증강된 뷰를 다른 증강된 뷰의 이웃과 임베딩 공간에서 정렬하는 양성 샘플링 전략을 제안하여 부정 예제를 회피한다.
• 동일한 원형의 두 증강된 뷰 간의 정렬을 장려하고 모든 원형 간의 균일성을 확보하는 원형 대비 손실(ProtoCL)을 도입한다.
• 기대값-최대화(EM) 프레임워크를 활용: E단계에서는 타겟 네트워크 출력에 대해 구형 k-평균을 적용하여 가짜 레이블과 원형 분포를 추정한다.
• M단계에서는 제안된 양성 샘플링과 ProtoCL 손실을 사용하여 온라인 네트워크를 최적화하여 표현을 개선한다.
• 학습을 안정화하고 E단계에서 가짜 레이블 품질을 향상시키기 위해 타겟 네트워크를 활용한다.
• 임베딩 공간에서 클러스터 내 밀도와 클러스터 간 분리도를 동시에 최대화하도록 전체 프레임워크를 구성한다.

실험 결과

연구 질문

• RQ1 비대비적 표현 학습이 딥 클러스터링에서 대비 학습의 클래스 충돌 문제를 제거할 수 있는가?
• RQ2 부정 예제에 의존하지 않고 클러스터 내 밀도를 어떻게 향상시킬 수 있는가?
• RQ3 원형 수준의 대비 손실이 딥 클러스터링에서 클러스터 간 분리도를 향상시킬 수 있는가?
• RQ4 비대비 학습을 EM 프레임워크에 통합하면 더 나은 클러스터링 성능을 얻을 수 있는가?

주요 결과

• NCC는 다양한 벤치마크 데이터셋에서 최신 기술 수준의 대비 및 비대비적 딥 클러스터링 방법을 모두 초월한다.
• 제안된 양성 샘플링 전략은 부정 예제를 회피함으로써 클래스 충돌 문제를 크게 줄인다.
• 원형 대비 손실(ProtoCL)은 효과적으로 클러스터 간 거리를 증가시켜 클러스터 분리도를 향상시킨다.
• E단계에서 구형 k-평균을 활용한 EM 기반 프레임워크는 더 정확한 가짜 레이블과 안정적인 학습을 이끈다.
• ImageNet-1K에서 NCC는 기존 방법들에 비해 뚜렷한 성능 격차를 확보하여 강력한 일반화 능력을 입증한다.
• 제거 분석 결과, 양성 샘플링과 ProtoCL 구성 요소가 모두 클러스터링 정확도 향상에 효과적임을 확인한다.