[논문 리뷰] Label-Aware Distribution Calibration for Long-tailed Classification

Chaozheng Wang, Shuzheng Gao외 5명|arXiv (Cornell University)|2021. 11. 09.

Anomaly Detection Techniques and Applications참고 문헌 38인용 수 5

한 줄 요약

이 논문은 장긴 분포 분류를 위한 새로운 방법인 레이블 인식 분포 校정(LADC)을 제안한다. LADC는 유사한 잘 표현된 헤드 클래스로부터 통계 지식을 전이하여 꼬리 클래스의 특징 분포를 校정한다. 특징 공간 내의 클래스 간 유사성과 校정된 분포에서 생성된 가짜 샘플을 활용함으로써, LADC는 기존 방법에 비해 꼬리 클래스 성능을 크게 향상시키며, 이미지 및 텍스트 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Real-world data usually present long-tailed distributions. Training on imbalanced data tends to render neural networks perform well on head classes while much worse on tail classes. The severe sparseness of training instances for the tail classes is the main challenge, which results in biased distribution estimation during training. Plenty of efforts have been devoted to ameliorating the challenge, including data re-sampling and synthesizing new training instances for tail classes. However, no prior research has exploited the transferable knowledge from head classes to tail classes for calibrating the distribution of tail classes. In this paper, we suppose that tail classes can be enriched by similar head classes and propose a novel distribution calibration approach named as label-Aware Distribution Calibration LADC. LADC transfers the statistics from relevant head classes to infer the distribution of tail classes. Sampling from calibrated distribution further facilitates re-balancing the classifier. Experiments on both image and text long-tailed datasets demonstrate that LADC significantly outperforms existing methods.The visualization also shows that LADC provides a more accurate distribution estimation.

연구 동기 및 목표

• 장긴 데이터셋에서 데이터 희소성과 편향된 분포 추정으로 인한 신경망의 꼬리 클래스 성능 저하 문제를 해결하기 위해.
• 부족하게 표현된 클래스의 특징 분포 추정을 향상시키기 위해 헤드 클래스에서 꼬리 클래스로 전이 가능한 지식을 탐색하기 위해.
• 특징 공간 내의 클래스 간 유사성을 활용하여 꼬리 클래스의 표현 학습을 향상시키는 분포 校정 메커니즘을 개발하기 위해.
• 보정된 분포 기반의 새로운 샘플링 전략을 통해 분류기 재균형을 향상시켜 과적합과 분포 불일치를 감소시키기 위해.
• 재무게 조정 또는 데이터 증강에만 의존하지 않고도 장긴 이미지 및 텍스트 분류 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• LADC는 학습을 두 단계로 분리한다: 첫 번째 단계에서 데이터 증강(재균형 믹스업 및 랜덤어우먼트)을 사용하여 백본을 훈련시켜 표현 학습을 향상시킨다.
• 두 번째 단계에서 각 꼬리 클래스에 대해 특징 평균과 공분산 유사성 기반으로 가장 유사한 m개의 헤드 클래스를 식별한다.
• 각 꼬리 클래스에 대해 가장 유사한 헤드 클래스들의 평균과 공분산 행렬을 조합하여 보정된 분포를 계산한다. 이때 각 차원에서 특징이 정규분포를 이룬다고 가정한다.
• 보정된 분포에서 새로운 훈련 인스턴스를 샘플링하여 분류기를 재균형화함으로써 꼬리 클래스의 데이터 희소성을 완화한다.
• 보정된 샘플을 사용하여 분류기 정정을 더욱 향상시키기 위해 새로운 분류기 재균형 기법인 LWS-플러스를 도입한다.
• 유사한 클래스들은 유사한 특징 통계(평균 및 분산)를 공유한다고 가정함으로써, 헤드 클래스에서 꼬리 클래스로 지식 전이가 가능하다.

Figure 1: Visualization for the cosine similarities between the means (a) or variances (b) of classes in the feature space of CIFAR10-LT. The feature vectors are computed by the ResNet-32 backbone. The first four classes including $airplane$ , $automobile$ , $bird$ , and $cat$ are head classes, whil

실험 결과

연구 질문

• RQ1 특징 공간 내의 클래스 간 유사성을 활용하여 장긴 클래스의 분포 추정을 향상시킬 수 있는가?
• RQ2 헤드 클래스에서 꼬리 클래스로 통계 지식을 전이하면 분류 모델의 일반화 성능 향상과 편향 감소에 기여하는가?
• RQ3 유사한 헤드 클래스로부터 보정된 특징 분포를 활용하여 전통적인 재무게 조정 또는 데이터 증강에 의존하지 않고도 꼬리 클래스 성능을 향상시킬 수 있는가?
• RQ4 기존의 두 단계 훈련 방법과 비교할 때, 레이블 인식 분포 보정은 꼬리 클래스 정확도 향상과 분포 불일치 완화 측면에서 어떻게 성능을 내는가?
• RQ5 보정된 분포에서 유도된 샘플링 전략이 과적합을 얼마나 줄이고 분류기 재균형을 얼마나 향상시키는가?

주요 결과

• 불균형 요인 200인 CIFAR100-LT에서 LADC는 cRT를 사용해 상위 1 정확도 55.24%를 기록했으며, 다음으로 우수한 성능을 보인 LAS보다 2.12%p 높다.
• 불균형 요인 100인 CIFAR100-LT에서 LADC는 LWS-플러스를 사용해 54.00%의 정확도를 달성했으며, 베이스라인 LWS 방법보다 1.41%p 높다.
• LADC는 불균형 요인 200, 100, 50 등 다양한 수준에서 일관된 향상을 보이며, 다양한 정도의 장긴 분포 비대칭에 대해 강건함을 입증했다.
• 시각화 결과는 LADC가 유사한 헤드 클래스의 특징 통계와 일치시키는 방식으로 더 정확한 분포 추정을 제공함을 확인했다.
• 이 방법은 이미지 및 텍스트 장긴 분포 분류 데이터셋에서 최신 기술 수준의 성능을 달성하여, 다양한 도메인 간 일반화 능력을 입증했다.
• 절단 분석 결과, 분포 보정과 LWS-플러스의 조합이 각각의 성분만을 사용할 때보다 더 나은 분류기 재균형을 이끌어내는 것으로 확인되었다.

Figure 2: Overview of our proposed LADC method. In Stage 1, we train the backbone with Representation Enhancement. In Stage 2, we freeze the backbone and modify the classifier by re-sampling with distribution calibration and LWS-Plus training.