[논문 리뷰] Long-tail learning via logit adjustment

Aditya Krishna Menon, Sadeep Jayasumana외 4명|arXiv (Cornell University)|2020. 07. 14.

Imbalanced Data Classification Techniques참고 문헌 63인용 수 52

한 줄 요약

이 논문은 후처리 로짓 보정(post-hoc logit adjustment)과 로짓 보정 손실(logit-adjusted loss)을 제안하여 긴 꼬리 라벨 분포를 다루고 균형 에러를 최소화하는 Fisher 일관성 있는 기회를 제공한다. 또한 이전의 긴 꼬리 방법을 통합하고 개선하며 강한 실험 결과를 보여준다.

ABSTRACT

Real-world classification problems typically exhibit an imbalanced or long-tailed label distribution, wherein many labels are associated with only a few samples. This poses a challenge for generalisation on such labels, and also makes naïve learning biased towards dominant labels. In this paper, we present two simple modifications of standard softmax cross-entropy training to cope with these challenges. Our techniques revisit the classic idea of logit adjustment based on the label frequencies, either applied post-hoc to a trained model, or enforced in the loss during training. Such adjustment encourages a large relative margin between logits of rare versus dominant labels. These techniques unify and generalise several recent proposals in the literature, while possessing firmer statistical grounding and empirical performance.

연구 동기 및 목표

• 긴 꼬리 라벨 분포에서 일반화 문제에 동기를 부여하고 해결한다.
• 희소 라벨을 우호적으로 만드는 두 가지 로짓 보정 기법을 제시하되 전반적인 성능을 희생하지 않는다.
• 로짓 보정으로 균형 에러에 대한 Fisher 일관성을 확립한다.
• 실세계의 긴 꼬리 데이터셋에서 기존 방법 대비 실증적 이득을 보여준다.

제안 방법

• 후처리 로짓 보정은 f_y(x) - tau * log pi_y 로 로그에 라벨 의존 오프셋을 더한다.
• 로짓 보정 소프트맥스 크로스 엔트로피는 손실에 클래스 선행 정보를 포함하며, 이는 g_y(x) = f_y(x) + tau * log pi_y 와 표준 스코어러를 학습하는 것과 동일하다.
• 이 접근은 Delta_{yy'} = log(pi_{y'}/pi_y) 및 적절한 알파를 갖는 쌍별 여백 손실을 산출하여 균형 에러에 대한 Fisher 일관성을 보장한다.
• 비교 결과 로짓 보정은 가중치 정규화가 아니라 보정이 더해지는 형식이며 일반적으로 옵티마이저에 대해 더 강건하다.
• 소프트맥스를 쌍별 여백(Eq. 11)으로 확장하는 일반 프레임워크를 제공한다.
• 후처리와 손실 기반 로짓 보정을 벤치마크에서 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 로짓 보정이 로그it를 수정하거나 손실에 적용되어 긴 꼬리 데이터셋에서 희소 클래스의 성능을 어떻게 개선할 수 있는가?
• RQ2 후처리 및 학습 시간 로짓 보정이 균형 에러에 대한 Fisher 일관성과 일치하는가?
• RQ3 로짓 보정 방법과 기존의 후처리 정규화 및 손실 수정 기법이 표준 긴 꼬리 벤치마크에서 어떻게 비교되는가?
• RQ4 CIFAR (LT), ImageNet-LT, iNaturalist에서 로짓 보정 방법이 어떤 실증적 이득을 제공하는가?

주요 결과

• Logit adjustment approaches achieve strong improvements over ERM and many baselines on long-tailed datasets.
• Post-hoc logit adjustment often outperforms weight normalization, with further gains when tuning the scaling parameter tau.
• Logit-adjusted loss matches or exceeds post-hoc performance and can yield additional gains.
• On CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist, the logit-adjusted methods consistently reduce balanced error compared to baselines.
• The methods demonstrate robustness across datasets and optimizer choices, supporting the theoretical grounding in Fisher consistency for the balanced error.