[논문 리뷰] Cross-Domain Empirical Risk Minimization for Unbiased Long-tailed Classification

Beier Zhu, Yulei Niu외 2명|arXiv (Cornell University)|2021. 12. 28.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 비균형 및 균형 임의의 데이터 분포에서의 경험적 리스크 최소화를 동시에 고려함으로써 편향 없는 장꼬리 분류를 달성하는 새로운 학습 프레임워크인 Cross-Domain Empirical Risk Minimization (xERM)을 제안한다. 비균형 도메인의 진짜 레이블과 균형 모델의 예측을 결합함으로써, xERM은 강력하고 공정한 특징 표현을 학습하며, 장꼬리 및 균형 테스트 세트 양쪽에서 최신 기법들을 능가하는 성능을 보인다. 이는 성능 향상이 편향 조작이 아닌 더 나은 표현 학습에 기인함을 시사한다.

ABSTRACT

We address the overlooked unbiasedness in existing long-tailed classification methods: we find that their overall improvement is mostly attributed to the biased preference of tail over head, as the test distribution is assumed to be balanced; however, when the test is as imbalanced as the long-tailed training data -- let the test respect Zipf's law of nature -- the tail bias is no longer beneficial overall because it hurts the head majorities. In this paper, we propose Cross-Domain Empirical Risk Minimization (xERM) for training an unbiased model to achieve strong performances on both test distributions, which empirically demonstrates that xERM fundamentally improves the classification by learning better feature representation rather than the head vs. tail game. Based on causality, we further theoretically explain why xERM achieves unbiasedness: the bias caused by the domain selection is removed by adjusting the empirical risks on the imbalanced domain and the balanced but unseen domain. Codes are available at https://github.com/BeierZhu/xERM.

연구 동기 및 목표

• 기존 장꼬리 분류 기법들이 테스트 분포 가정에 따라 '헤드' 또는 '테일' 클래스에 편향을 가지는 것으로 간과된 문제를 해결하기 위해.
• 균형 테스트 세트에만 최적화하는 것이 아니라, 비균형 및 균형 양 테스트 분포에서 편향 없는 성능을 달성하는 학습 프레임워크를 제안하기 위해.
• 성능 향상 요인이 더 나은 특징 표현인지, 아니면 헤드와 테일 클래스 간의 편향 재조정인지 경험적이고 이론적으로 입증하기 위해.
• 장꼬리 학습에서 도메인 선택에 기인한 혼동 편향을 제거하는 원인 프레임워크를 제공하기 위해.

제안 방법

• xERM은 두 가지 경험적 리스크 최소화 항목을 결합한다: 하나는 비균형 학습 도메인의 진짜 레이블을 사용하여 헤드 클래스 성능 유지를 위한 것이고, 다른 하나는 균형 모델의 예측을 사용하여 테일 클래스의 과소적합을 보완하기 위한 것이다.
• 두 손실을 함께 최적화하면서 적응적 가중치를 적용하여 어느 도메인의 영향을 지나치게 강조하지 않도록 하여 균형 잡힌 편향 완화를 보장한다.
• 도메인 선택에 기인한 혼동 편향을 공식적으로 제거하기 위해 원인 프레임워크를 도입한다. 이 경우 두 도메인은 학습 중에 동시에 발생할 수 없다.
• 균형 모델의 예측을 실제 균형 데이터가 없는 상황에서도 볼 수 없는 균형 도메인의 대체 지표로 활용함으로써, 모델은 실제 균형 데이터가 필요 없이 공정한 사전 분포를 학습할 수 있다.
• 다양한 백본 아키텍처와 호환되며, RIDE와 같은 앙상블 모델에 적용 가능하여 아키텍처 변경 없이 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 현재 장꼬리 분류 성능 향상은 진정으로 향상된 것인지, 아니면 '헤드'에서 '테일' 클래스로의 편향 이동일 뿐인가?
• RQ2 비균형 및 균형 테스트 분포에서 동시에 뛰어난 성능을 달성할 수 있는가? 한쪽에 편향되지 않고?
• RQ3 기존 기법의 성능 향상 요인이 더 나은 특징 표현 때문인지, 아니면 단순히 클래스 편향 재조정 때문인가?
• RQ4 원인 프레임워크는 장꼬리 학습에서 도메인 선택에 기인한 편향을 효과적으로 제거할 수 있는가?

주요 결과

• xERM은 ImageNet-LT, Places365-LT, iNaturalist 2018를 포함한 여러 벤치마크에서 장꼬리 및 균형 테스트 세트 양쪽에서 SOTA 성능을 달성한다.
• iNaturalist 2018 데이터셋에서 xERM ${}_{\!P\!C}$ 는 70.4%의 멀티샷 리콜을 기록하여 BBN과 같은 다른 균형 모델(49.4%)보다 뚜렷이 뛰어나다.
• CIFAR100-LT-IB-100에서 xERM ${}_{\!T\!D\!E}$ 는 불균형 비율 100일 때 상위-1 정확도 62.2%를 달성하며, 모든 샷 레지임에서 베이스라인을 능가한다.
• Places365-LT에서 xERM은 높은 정밀도(54.2%)와 F1 스코어를 유지하며, XE(정밀도: 39.9%)와 PC(정밀도: 73.3%)보다 통합 성능에서 앞선다.
• 절단 실험 결과, xERM의 성능 향상 요인이 분류기 재가중화가 아니라 더 나은 특징 표현 덕분임을 입증하였으며, 분류기만 재학습할 경우 성능 향상이 미미하다.
• RIDE와 같은 앙상블 모델에서도 xERM은 모든 샷 레지임에서 정확도, 리콜, F1 스코어를 일관되게 향상시켜 새로운 SOTA 성능을 기록한다.