[논문 리뷰] Targeted Supervised Contrastive Learning for Long-Tailed Recognition

Tianhong Li, Peng Cao외 6명|arXiv (Cornell University)|2021. 11. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 15

한 줄 요약

이 논문은 초구 위에 균일하게 분포된 타겟을 생성하고 학습 중에 클래스 특징을 이러한 타겟에 정렬함으로써 장수체계 인식 성능을 향상시키는 대상 지도 대비 학습(TSC)을 제안한다. TSC는 소수 클래스의 경우 특히 특징 공간의 균일성을 향상시켜, CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT 및 iNaturalist 데이터셋에서 데이터 분포의 편향을 완화함으로써 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Real-world data often exhibits long tail distributions with heavy class imbalance, where the majority classes can dominate the training process and alter the decision boundaries of the minority classes. Recently, researchers have investigated the potential of supervised contrastive learning for long-tailed recognition, and demonstrated that it provides a strong performance gain. In this paper, we show that while supervised contrastive learning can help improve performance, past baselines suffer from poor uniformity brought in by imbalanced data distribution. This poor uniformity manifests in samples from the minority class having poor separability in the feature space. To address this problem, we propose targeted supervised contrastive learning (TSC), which improves the uniformity of the feature distribution on the hypersphere. TSC first generates a set of targets uniformly distributed on a hypersphere. It then makes the features of different classes converge to these distinct and uniformly distributed targets during training. This forces all classes, including minority classes, to maintain a uniform distribution in the feature space, improves class boundaries, and provides better generalization even in the presence of long-tail data. Experiments on multiple datasets show that TSC achieves state-of-the-art performance on long-tailed recognition tasks.

연구 동기 및 목표

• 장수체계 데이터 분포로 인한 특징 공간의 열악한 균일성 문제를 해결한다.
• 헤드 클래스 성능을 희생시키지 않으면서 불균형 데이터셋에서 소수 클래스의 일반화 및 분리 가능성을 향상시킨다.
• 학습 데이터의 불균형 비율과 관계없이 균형 잡힌 특징 분포를 유지하는 방법을 개발한다.
• 특징 공간에서 클래스 간 의미적 유사성을 타겟에 정렬함으로써 유지한다.
• 기존의 대비 학습 기반 모델보다 우수한 안정적이고 확장 가능한 장수체계 인식 솔루션을 제공한다.

제안 방법

• 균일성 손실를 최소화하기 위해 확률적 경사 하강법을 사용하여 초구 위에 최적의 균일하게 분포된 타겟 점을 생성한다.
• 클래스 간 의미적 유사성을 고려한 온라인 매칭 기법을 통해 각 클래스를 타겟 점에 할당한다.
• 각 클래스의 특징이 할당된 타겟 쪽으로 수렴하도록 유도하는 대비 손실을 사용해 모델을 훈련한다.
• KCL에서처럼 균형 잡힌 양성 샘플링 전략을 적용하여 각 클래스 내 정렬을 향상시키지만, 타겟 정렬에 의해 내재적으로 균형을 이룬 덕분에 효과가 감소한다.
• 학습 중에 클래스를 타겟에 동적으로 할당하는 온라인 매칭 알고리즘을 적용하여 의미적 구조를 유지한다.
• 다양한 랜덤 시드에서 균일성 손실를 평가하여 타겟 생성의 안정성을 확보한다. 결과적으로 변동성이 거의 없음을 확인했다.

Figure 1 : Test data feature distribution of (a) k-positive contrastive learning (KCL) and (b) TSC for three classes of CIFAR10 (plane, cat, dog), for different training data imbalance ratios $\rho$ . With high imbalance ratio, class centers learned by KCL exhibit poor uniformity while class centers

실험 결과

연구 질문

• RQ1 장수체계 데이터 분포 하에서 지도 대비 학습이 균일한 특징 분포를 유지할 수 있는가, 아니면 클래스 불균형이 균일성과 일반화 능력을 떨어뜨리는가?
• RQ2 사전 정의된 균일하게 분포된 타겟을 클래스에 할당함으로써 특징 공간의 균일성과 소수 클래스의 성능 향상이 가능할까?
• RQ3 온라인 매칭을 통한 클래스-타겟 할당 방식이 무작위 또는 고정된 타겟 할당 방식보다 의미적 일致성과 모델 일반화에 어떤 영향을 미치는가?
• RQ4 TSC는 테일 클래스의 성능 저하를 어느 정도 감소시킬 수 있으며, 헤드 클래스 정확도에 해를 끼치지 않는가?
• RQ5 다양한 랜덤 시드와 클래스 수에서 타겟 생성 과정이 안정적이고 강건한가?

주요 결과

• CIFAR-10-LT에서 TSC는 전체 정확도 63.5%를 기록하여 KCL(52.4%)와 FCL(51.8%)를 초월해 최신 기술 수준 성능을 달성했다.
• ImageNet-LT에서 TSC는 many-shot 클래스에서 63.5%의 정확도, medium 클래스에서 49.7%, few-shot 클래스에서 30.4%를 기록했으며, 전체 정확도는 52.4%로 KCL 및 FCL를 모두 능가했다.
• TSC의 온라인 매칭 알고리즘은 위험 점수(R)를 랜덤 할당 시 7.81에서 7.14로 감소시켜 더 나은 일반화와 더 균형 잡힌 특징 학습을 나타낸다.
• TSC는 고도의 불균형 비율(예: 100:1:1)에서도 특징 공간의 높은 균일성을 유지하지만, KCL는 소수 클래스 특징의 심각한 붕괴를 보였다.
• 타겟 생성 과정은 안정적이며, 다양한 랜덤 시드에서 균일성 손실의 변동이 3e-6 이내로 매우 미미하여 강건성을 확인했다.
• 균형 잡힌 양성 샘플링의 이점은 TSC에서 KCL만큼 크지 않아, 타겟 기반 정렬이 내재적으로 클래스 내 정렬을 균형 있게 만든다는 것을 시사한다.

Figure 2 : Illustration of TSC. It first computes the optimal targets for the class centers on the hypersphere. Then, during training, in each iteration, each target is assigned to the nearest class, and a targeted contrastive learning loss is designed to encourage the samples from each class to mov