[논문 리뷰] Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss

Kaidi Cao, Colin Wei외 3명|arXiv (Cornell University)|2019. 06. 18.

Imbalanced Data Classification Techniques참고 문헌 61인용 수 226

한 줄 요약

논문은 LDAM 손실을 도입하여 클래스 빈도에 반비례하는 클래스 의존 마진을 강제하고, 희소 클래스의 일반화 성능을 개선하기 위해 지연된 재균형 스케줄을 제시하여 CIFAR, iNaturalist, IMDB에서 강력한 이득을 보여준다.

ABSTRACT

Deep learning algorithms can fare poorly when the training dataset suffers from heavy class-imbalance but the testing criterion requires good generalization on less frequent classes. We design two novel methods to improve performance in such scenarios. First, we propose a theoretically-principled label-distribution-aware margin (LDAM) loss motivated by minimizing a margin-based generalization bound. This loss replaces the standard cross-entropy objective during training and can be applied with prior strategies for training with class-imbalance such as re-weighting or re-sampling. Second, we propose a simple, yet effective, training schedule that defers re-weighting until after the initial stage, allowing the model to learn an initial representation while avoiding some of the complications associated with re-weighting or re-sampling. We test our methods on several benchmark vision tasks including the real-world imbalanced dataset iNaturalist 2018. Our experiments show that either of these methods alone can already improve over existing techniques and their combination achieves even better performance gains.

연구 동기 및 목표

• 불균형 데이터셋에서 소수 클래스의 일반화 저하 문제를 동기 부여하고 해결한다.
• 소수 클래스를 위한 손실 설계를 안내하기 위한 클래스별 마진 이론을 도출한다.
• 희소 클래스의 마진을 증가시키는 실용적인 LDAM 손실을 제안한다.
• 가중 재조정과 함께 최적화를 안정화하기 위한 지연 재균형 학습 스케줄을 도입한다.
• 벤치마크 비전 과제와 실제 데이터에서 실증적 이득을 입증한다.

제안 방법

• 클래스 j에 대해 최적 마진이 n_j^{-1/4}으로 스케일되는 것을 보이는 클래스별 마진 경계를 도출한다.
• Delta_j = C / n_j^{1/4}인 각 클래스 j에 대해 클래스 의존 마진을 강제하는 LDAM 손실을 정의한다.
• 마진 조정을 안정화하기 위해 로짓과 최종층 가중치를 단위 길이로 정규화한다.
• 지연 재균형 최적화를 제안한다: 1단계에서 LDAM/ERM으로 학습하고, 2단계에서 학습률을 감소시킨 재가중 LDAM을 적용한다.
• 향상된 성능을 위해 LDAM을 재가중 또는 재샘플링 스킴(DRW/DRS)과 결합한다(주된 파이프라인으로 LDAM-DRW).
• IMDB, CIFAR-10/100, Tiny ImageNet의 불균형 버전 및 실제 iNaturalist 2018 데이터셋에 대해 평가한다.

실험 결과

연구 질문

• RQ1 레이블 분포가 불균형한 상황에서 일반화를 최적화하기 위해 클래스 간 마진을 어떻게 할당해야 하는가?
• RQ2 레이블 분포 인식 마진 손실이 자주 등장하는 클래스에 해를 끼치지 않으면서 소수 클래스의 성능을 향상시킬 수 있는가?
• RQ3 재가중(DRW)을 지연시키면 재가중이 적용될 때 더 나은 특징 표현과 이후 이득이 나타나는가?
• RQ4 표준 불균형 벤치마크와 실제 데이터에서 LDAM과 DRW가 얻는 실증적 이익은 무엇인가?
• RQ5 LDAM이 기존 재가중 및 재샘플링 기법과 어떻게 상호 작용하는가?

주요 결과

• 희소 클래스에 대해 더 큰 마진을 강제하여 소수 클래스의 일반화를 향상시키는 LDAM 손실(DeltA_j ∝ n_j^{-1/4})
• 지연 재균형(DRW) 학습은 최적화를 안정화하고 재가중 LDAM을 따른 경우 강한 이득을 제공한다.
• LDAM-DRW는 IMDB, CIFAR-10/100, iNaturalist 2018 전반에 걸쳐 ERM, 재가중, 재샘플링 및 focal-loss 베이스라인을 능가한다.
• 개별적으로도 LDAM과 DRW는 상당한 향상을 제공하며, 함께 적용될 때 최고의 결과를 낸다(LDAM-DRW).
• 인위적으로 불균형화한 CIFAR 변형과 실제 iNaturalist 2018에 대한 실험은 이전 최첨단 방법에 비해 주목할 만한 탑-1 오류 감소를 보여준다.