[논문 리뷰] Balanced Contrastive Learning for Long-Tailed Visual Recognition

Jianggang Zhu, Zheng Wang외 3명|arXiv (Cornell University)|2022. 07. 19.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 표현 공간에서 정규 단형형태를 강제함으로써 장꼬리 데이터에서의 감독형 대비 학습의 편향된 최적화를 수정하는 새로운 대비 학습 방법인 균형 잡힌 대비 학습(Balanced Contrastive Learning, BCL)을 제안한다. 클래스 보완과 클래스 평균화를 도입함으로써 BCL은 모든 클래스에 걸쳐 균형 잡힌 기울기 업데이트를 보장하며, 꼬리 클래스 성능을 크게 향상시키면서도 헤드 클래스 정확도도 향상시켜 ImageNet-LT 및 iNaturalist2018 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Real-world data typically follow a long-tailed distribution, where a few majority categories occupy most of the data while most minority categories contain a limited number of samples. Classification models minimizing cross-entropy struggle to represent and classify the tail classes. Although the problem of learning unbiased classifiers has been well studied, methods for representing imbalanced data are under-explored. In this paper, we focus on representation learning for imbalanced data. Recently, supervised contrastive learning has shown promising performance on balanced data recently. However, through our theoretical analysis, we find that for long-tailed data, it fails to form a regular simplex which is an ideal geometric configuration for representation learning. To correct the optimization behavior of SCL and further improve the performance of long-tailed visual recognition, we propose a novel loss for balanced contrastive learning (BCL). Compared with SCL, we have two improvements in BCL: class-averaging, which balances the gradient contribution of negative classes; class-complement, which allows all classes to appear in every mini-batch. The proposed balanced contrastive learning (BCL) method satisfies the condition of forming a regular simplex and assists the optimization of cross-entropy. Equipped with BCL, the proposed two-branch framework can obtain a stronger feature representation and achieve competitive performance on long-tailed benchmark datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist2018. Our code is available at https://github.com/FlamieZhu/BCL .

연구 동기 및 목표

• 장꼬리 데이터에서의 감독형 대비 학습(SCL)의 표현 학습 성능이 낮은 이유를 해결하기 위해.
• SCL이 장꼬리 설정에서 정규 단형형태 구성이 실패하는 이유를 분석하여, 최적의 특징 공간 기하학이 아닌 결과를 초래함을 밝히기 위해.
• 모든 미니배치에서 균형 잡힌 기울기 기여와 동일한 클래스 표현을 보장하는 대비 손실을 설계하기 위해.
• 균형 잡힌 대비 학습과 로짓 보정된 교차 엔트로피를 융합하여, 불균형 데이터에서 표현 학습과 분류 성능을 모두 향상시키는 이중 분지 프레임워크를 통합하기 위해.
• ImageNet-LT 및 iNaturalist2018를 포함한 장꼬리 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• BCL은 매 미니배치에서 클래스 중심 프로토타입을 부정 샘플로 포함함으로써 클래스 보완을 도입하여, 모든 클래스가 훈련 중에 나타나도록 보장한다.
• BCL은 클래스 평균화를 적용하여, 각 클래스의 부정 샘플이 미니배치 전체에서 기울기 기여를 정규화한다.
• 클래스 보완과 클래스 평균화의 조합으로 인해 대비 손실의 하한이 클래스에 독립적이게 되어 표현 공간에서 정규 단형형태를 형성할 수 있게 된다.
• 이 방법은 이중 분지 프레임워크를 사용한다: 하나는 균형 잡힌 표현 학습을 위한 BCL을, 다른 하나는 균형 잡힌 분류를 위한 로짓 보정된 교차 엔트로피를 사용한다.
• BCL과 로짓 보정을 결합한 공동 목표함수를 통해 엔드 투 엔드로 모델을 훈련시켜 모든 클래스 빈도 그룹에서 일반화 성능을 향상시킨다.
• 이 프레임워크는 표준 ResNet과 ResNeXt 백본을 사용하여 CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, iNaturalist2018에서 평가된다.

실험 결과

연구 질문

• RQ1 왜 감독형 대비 학습(SCL)은 장꼬리 데이터에서 정규 단형형태 구성에 실패하는가?
• RQ2 데이터 분포의 클래스 불균형이 대비 학습에서 학습된 표현의 기하학적 구성에 어떤 영향을 미치는가?
• RQ3 장꼬리 데이터가 존재하는 상황에서도 균형 잡힌 정규 단형형태의 구조를 표현 공간에 강제할 수 있는 수정된 대비 손실이 존재하는가?
• RQ4 모든 미니배치에서 기울기 기여를 균형 잡고 클래스 존재를 보장함으로써 헤드 클래스와 꼬리 클래스 성능이 향상되는가?
• RQ5 균형 잡힌 대비 학습과 로짓 보정을 융합한 통합 프레임워크가 기존 최신 기술 수준의 방법들을 초월할 수 있는가?

주요 결과

• ImageNet-LT에서 180 에포크 후 BCL은 Top-1 정확도 57.1%를 기록하여 PaCo(56.0%)와 DisAlign(52.9%)를 모두 앞서며 성능을 뛰어넘었다.
• iNaturalist2018에서 BCL은 100 에포크 후 전체 Top-1 정확도 71.8%를 달성하여 RIDE(71.4%)와 Hybrid-PSC(68.1%)를 능가했다.
• ImageNet-LT에서 BCL은 180 에포크 후 소수 샘플 정확도를 36.5%로 향상시켜, Balanced Softmax(29.8%)와 PaCo(33.7%)를 크게 앞섰다.
• ImageNet-LT의 많은 샘플 그룹에서 BCL은 90 에포크 후 67.2%의 정확도를 기록하여 RIDE(64.4%)와 DisAlign(62.7%)를 초월했다.
• 이 방법은 헤드, 메디엄, 소수 샘플 그룹의 모든 클래스 그룹에서 동시에 성능 향상을 이끌었으며, 이전 방법들이 보였던 헤드와 꼬리 성능 간의 트레이드오프를 피했다.
• 이론적 분석을 통해 BCL가 클래스에 독립적인 하한을 보장하여 정규 단형형태 형성을 가능하게 하며, 이는 표현 학습에 최적임을 확인했다.