[논문 리뷰] Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification

Peng Wang, Kai Han외 3명|arXiv (Cornell University)|2021. 03. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 17

한 줄 요약

이 논문은 장기적 희소 분포를 가진 이미지 분류 문제를 해결하기 위해 지도형 대비 학습과 교차 엔트로피 손실을 융합한 하이브리드 딥 러닝 프레임워크를 제안한다. 교육 과정을 통해 점진적으로 특징 학습에서 분류기 학습으로 전환함으로써, 특징의 응집도와 클래스 간 분리도를 향상시키며, 특히 극도로 불균형한 비율에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Learning discriminative image representations plays a vital role in long-tailed image classification because it can ease the classifier learning in imbalanced cases. Given the promising performance contrastive learning has shown recently in representation learning, in this work, we explore effective supervised contrastive learning strategies and tailor them to learn better image representations from imbalanced data in order to boost the classification accuracy thereon. Specifically, we propose a novel hybrid network structure being composed of a supervised contrastive loss to learn image representations and a cross-entropy loss to learn classifiers, where the learning is progressively transited from feature learning to the classifier learning to embody the idea that better features make better classifiers. We explore two variants of contrastive loss for feature learning, which vary in the forms but share a common idea of pulling the samples from the same class together in the normalized embedding space and pushing the samples from different classes apart. One of them is the recently proposed supervised contrastive (SC) loss, which is designed on top of the state-of-the-art unsupervised contrastive loss by incorporating positive samples from the same class. The other is a prototypical supervised contrastive (PSC) learning strategy which addresses the intensive memory consumption in standard SC loss and thus shows more promise under limited memory budget. Extensive experiments on three long-tailed classification datasets demonstrate the advantage of the proposed contrastive learning based hybrid networks in long-tailed classification.

연구 동기 및 목표

• 왜곡된 데이터 분포로 인한 장기적 희소 분포 이미지 분류에서의 편향된 분류기 문제를 해결하기 위해.
• 불균형 설정에서 교차 엔트로피보다 지도형 대비 학습이 더 분류 가능한 특징을 생성할 수 있는지 조사하기 위해.
• 제한된 GPU 메모리 예산에서 사용 가능한 메모리 효율적인 대비 학습 전략을 설계하기 위해.
• 특징 학습에서 분류기 학습으로의 교육 과정 기반 전환을 통해 특징과 분류기를 함께 훈련시켜 분류기 성능을 향상시키기 위해.
• 더 나은 특징이 장기적 희소 분포 상황에서 더 나은 분류기를 이끌 수 있음을 입증하기 위해.

제안 방법

• 특징 학습을 위한 지도형 대비(SC) 손실과 분류기 학습을 위한 교차 엔트로피 손실을 함께 최적화하는 하이브리드 네트워크를 도입한다.
• 특징 학습(주로 SC 손실에 의해 지배됨)에서 분류기 학습(주로 교차 엔트로피 손실에 의해 지배됨)으로 점진적으로 전환하는 교육 과정 학습 전략을 적용한다.
• 명시적인 양성/음성 샘플링을 클래스 프로토타입으로 대체하는 원형 지도형 대비(PSC) 손실을 제안하여 메모리 소비를 감소시킨다.
• ℓ₂ 정규화된 특징와 프로토타입을 사용하여 특징 노름과 클래스 빈도를 분리함으로써 안정성을 향상시킨다.
• PSC 손실의 기울기를 유도하여, 양성 클래스 유사도에서는 일정한 기울기, 음성 클래스 유사도에서는 두드러진 기울기를 얻어 클래스 간 분리도를 향상시킨다.
• 과도하게 샘플링된 꼬리 클래스에서의 과적합을 완화하면서도 강력한 분류 능력을 유지하기 위해 PSC 손실을 적용한다.

실험 결과

연구 질문

• RQ1 장기적 희소 분포 이미지 분류에서 지도형 대비 학습이 교차 엔트로피보다 더 응집되고 분리 가능한 특징을 생성할 수 있는가?
• RQ2 교육 과정 기반 공동 훈련 전략이 분류기 정확도 측면에서 이중 단계 훈련보다 우월한가?
• RQ3 원형 대비 손실이 특징 품질을 손상시키지 않고 장기적 희소 분포 설정에서 메모리 소비를 줄일 수 있는가?
• RQ4 제한된 GPU 메모리 예산 하에서 PSC 손실이 표준 SC 손실보다 더 효과적인가?
• RQ5 대비 손실을 통한 향상된 특징 학습이 하류 분류 성능을 크게 향상시키는가?

주요 결과

• 교육 과정 기반 하이브리드 네트워크는 장기적 희소 분포 CIFAR-100(불균형 비율 10)에서 63.05%의 정확도를 달성하여 기준 CE-CE 방법(59.14%)을 크게 앞서며, 최신 기술 수준의 성능을 확보한다.
• 하이브리드-SC 모델은 장기적 희소 분포 CIFAR-100(불균형 비율 10)에서 46.72%의 정확도를 기록하여 이중 단계 SC 기준(42.73%)과 하이브리드-SC 교육 과정 없이(42.58%)를 모두 초월한다.
• PSC 변형은 장기적 희소 분포 CIFAR-100(불균형 비율 10)에서 44.91%의 정확도를 달성하여, 메모리 제약 하에서 PSC가 SC의 실용적인 대안이 될 수 있음을 보여준다.
• 하이브리드 프레임워크에서 대비 손실을 교차 엔트로피로 대체하면 정확도가 63.05%에서 59.14%로 감소함으로써, 불균형 데이터에서 효과적인 특징 학습을 위해 대비 학습이 필수적임을 입증한다.
• 교육 과정 기반 공동 훈련 전략은 이중 단계 훈련과 고정 가중치 공동 훈련 모두보다 성능을 크게 향상시켜 점진적 학습의 가치를 확인한다.
• PSC 손실은 음성 클래스 프로토타입에 대해 두드러진 기울기를 얻고, 양성 클래스 유사도에 대해서는 일정한 기울기를 유지하여 과적합을 줄이고 클래스 간 분리도를 향상시킨다.