[논문 리뷰] Deep Clustering by Semantic Contrastive Learning

Jiabo Huang, Shaogang Gong|arXiv (Cornell University)|2021. 03. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 10

한 줄 요약

이 논문은 집단 수준의 군집화와 인스턴스 수준의 식별 간의 모순을 해결하기 위해 군집 인식적인 대비 학습을 명시적으로 강제하는 새로운 딥 클러스터링 방법인 의미론적 대비 학습(Semantic Contrastive Learning, SCL)을 제안한다. 의미론적 메모리와 인스턴스 유사도 및 군집 경계 간의 일치 조건을 도입함으로써 SCL는 특히 세분화된 및 대규모 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법 대비 최대 17% 향상을 보였다.

ABSTRACT

Whilst contrastive learning has recently brought notable benefits to deep clustering of unlabelled images by learning sample-specific discriminative visual features, its potential for explicitly inferring class decision boundaries is less well understood. This is because its instance discrimination strategy is not class sensitive, therefore, the clusters derived on the resulting sample-specific feature space are not optimised for corresponding to meaningful class decision boundaries. In this work, we solve this problem by introducing Semantic Contrastive Learning (SCL). SCL imposes explicitly distance-based cluster structures on unlabelled training data by formulating a semantic (cluster-aware) contrastive learning objective. Moreover, we introduce a clustering consistency condition to be satisfied jointly by both instance visual similarities and cluster decision boundaries, and concurrently optimising both to reason about the hypotheses of semantic ground-truth classes (unknown/unlabelled) on-the-fly by their consensus. This semantic contrastive learning approach to discovering unknown class decision boundaries has considerable advantages to unsupervised learning of object recognition tasks. Extensive experiments show that SCL outperforms state-of-the-art contrastive learning and deep clustering methods on six object recognition benchmarks, especially on the more challenging finer-grained and larger datasets.

연구 동기 및 목표

• 인스턴스 수준의 식별과 군집 수준의 군집화 간의 내재된 모순을 해결하기 위해, 즉 인스턴스 수준의 분리와 군집 수준의 밀도 간의 갈등을 해결하기 위해.
• 라벨이 없는 데이터에 군집 구조를 명시적으로 도입하여 군집 인식적인 분류 가능한 시각적 특징을 학습하는 데 목적이 있다.
• 중간 단계의 군집 할당에 의존하지 않는 강건한 표현을 학습함으로써 딥 클러스터링에서의 오류 전파를 완화하기 위해.
• 특징 유사도를 군집 결정 경계와 정렬시킴으로써 학습된 군집의 의미론적 타당성을 향상시키기 위해.

제안 방법

• 인스턴스 수준의 특징 유사도와 군집 수준의 결정 경계 간의 일치를 강제하는 새로운 의미론적 대비 학습(SCL) 목적함수를 도입한다.
• 인스턴스 특징과 군집 할당을 모두 저장하는 의미론적 메모리 모듈을 사용하여 인스턴스 및 군집 식별의 동시 최적화를 가능하게 한다.
• 크로스-클러스터 인스턴스 식별을 사용하여, 각 샘플이 다른 모든 샘플이 아닌 다른 군집의 가짜 음성 샘플들로부터만 떨어지도록 한다.
• 할당 안정성 기반 재가중을 통해 손실 함수를 재설정함으로써 어려운, 분류하기 어려운 샘플을 강조하는 하드 샘플 마이닝을 적용한다.
• 비디오 유사도를 의미론적 군집 경계와 일치시켜 결정 경계 학습을 향상시키기 위해 군집 일관성 조건을 구현한다.
• 다중 과제 학습 체계를 사용하여 과도, 과소, 적절한 군집 할당을 동시에 처리함으로써 다양한 군집 해상도에서 특징을 학습한다.

실험 결과

연구 질문

• RQ1 비지도 딥 클러스터링에서 대비 학습을 어떻게 조정하여 의미 있는 클래스 결정 경계를 명시적으로 학습할 수 있는가?
• RQ2 자기지도 표현 학습에서 인스턴스 수준의 식별과 군집 수준의 군집화 간의 내재된 모순을 어떻게 해결할 수 있는가?
• RQ3 인스턴스 유사도와 군집 경계 간의 일치 조건을 강제하면 군집 품질과 의미론적 타당성이 향상되는가?
• RQ4 할당 안정성 기반 하드 샘플 마이닝이 딥 클러스터링에서 모델 일반화를 향상시키는가?
• RQ5 다중 해상도 군집 감독은 시각적 모호성에 대한 강건성을 어떻게 향상시키는가?

주요 결과

• SCL는 6개의 객체 인식 벤치마크에서 최신 기술 수준(SOTA)의 대비 학습 및 딥 클러스터링 방법을 초월하며, 특히 도전적인 데이터셋에서 뚜렷한 성능 향상을 보였다.
• 더 큰 크기와 세분화된 데이터셋에서 최대 17%의 상대적 향상을 기록하여 강력한 확장성과 강건성을 입증했다.
• 제거 분석 결과, 크로스-클러스터 인스턴스 식별과 온라인 군집 식별이 모두 필수적이며, 공동 학습이 가장 높은 성능을 낸다.
• 특징 시각화 결과, SCL는 특히 다중 군집 해상도에서 훈련할 경우 기준 방법에 비해 더 밀도 있고 분리 가능한 군집을 생성한다.
• SCL의 고신뢰도 예측은 진짜 클래스와 강하게 일치하며, 이는 의미론적 타당성과 모델 신뢰도 간의 상관관계를 시사한다.
• 실패 사례는 주로 배경의 지배성 때문이며, 이는 비지도 시각 학습에서 주의 집중 유지가 여전히 도전 과제임을 시사한다.