[논문 리뷰] Class-Balanced Loss Based on Effective Number of Samples

Yin Cui, Menglin Jia외 3명|arXiv (Cornell University)|2019. 01. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 128

한 줄 요약

이 논문은 효과적인 샘플 수를 기반으로 한 클래스 균형 손실을 도입하여 긴 꼬리 데이터 문제를 해결하고, 샘플 가중치를 지수적 효과 샘플 수에 연결하며 CIFAR, iNaturalist, ImageNet 및 기타 데이터세트에서 이득을 보여준다.

ABSTRACT

With the rapid increase of large-scale, real-world datasets, it becomes critical to address the problem of long-tailed data distribution (i.e., a few classes account for most of the data, while most classes are under-represented). Existing solutions typically adopt class re-balancing strategies such as re-sampling and re-weighting based on the number of observations for each class. In this work, we argue that as the number of samples increases, the additional benefit of a newly added data point will diminish. We introduce a novel theoretical framework to measure data overlap by associating with each sample a small neighboring region rather than a single point. The effective number of samples is defined as the volume of samples and can be calculated by a simple formula $(1-β^{n})/(1-β)$, where $n$ is the number of samples and $β\in [0,1)$ is a hyperparameter. We design a re-weighting scheme that uses the effective number of samples for each class to re-balance the loss, thereby yielding a class-balanced loss. Comprehensive experiments are conducted on artificially induced long-tailed CIFAR datasets and large-scale datasets including ImageNet and iNaturalist. Our results show that when trained with the proposed class-balanced loss, the network is able to achieve significant performance gains on long-tailed datasets.

연구 동기 및 목표

• 실세계의 긴 꼬리 분포에서 겹침으로 인한 추가 데이터의 수익 감소를 동기화하고 모델링한다.
• 데이터 겹침을 정량화하기 위해 효과적인 샘플 수를 정의한다.
• 클래스별 효과적인 샘플 수에 반비례하는 손실 재가중 항을 제안한다.
• 소프트맥스, 시그모이드 및 포컬 손실에 걸쳐 클래스 균형 손실을 적용할 수 있음을 보인다.

제안 방법

• E_n = (1 - beta^n) / (1 - beta) 으로 정의된 효과적인 샘플 수 E_n, beta는 [0,1) 범위에 있다.
• 데이터셋 전체 N과 beta = (N-1)/N 을 가정하여 각 클래스의 E_n 을 계산한다.
• C로 합이 나게 정규화된 1 / E_{n_i}에 비례하는 클래스 균형 가중치를 도입한다.
• CB 손실로 클래스 균형 가중치를 적용: CB = (1 - beta) / (1 - beta^{n_y}) * L(p, y).
• 소프트맥스 교차 엔트로피, 시그모이드 교차 엔트로피, 포컬 손실에 대한 CB 버전( CB_softmax, CB_sigmoid, CB_focal )을 유도한다.
• CB_focal 은 포컬 손실에서 alpha_t 를 (1 - beta)/(1 - beta^{n_y}) 로 설정하는 것에 대응한다.

실험 결과

연구 질문

• RQ1 긴 꼬리 분포에서 데이터 겹침을 포착하기 위해 효과적인 샘플 수를 어떻게 정의할 수 있는가?
• RQ2 역점수인 효과적인 샘플 수의 역수로 재가중하는 것이 클래스 빈도 역수보다 성능 향상을 보일 수 있는가?
• RQ3 제안된 클래스 균형 손실이 기본 손실 함수에 독립적이며 소프트맥스, 시그모이드 및 포컬 손실에 걸쳐 적용 가능한가?
• RQ4 CB 손실이 인공적인 긴 꼬리 CIFAR 및 ImageNet, iNaturalist와 같은 대규모 실세계 데이터에서 어떤 이득을 주는가?

주요 결과

• CB 손실은 손실 함수에 관계없이 긴 꼬리 데이터에서 상당한 성능 향상을 보인다.
• CB_softmax, CB_sigmoid, 및 CB_focal 은 긴 꼬리 CIFAR 실험에서 불균형이 큰 경우에도 기존 대비 성능을 개선한다.
• beta가 약 0.999이고 gamma가 약 0.5~2.0 범위일 때 CB_focal 은 iNaturalist 와 ImageNet에서 강력한 결과를 달성한다.
• 대규모 데이터에서 CB_focal 은 iNaturalist에서 softmax 교차 엔트로피보다 뚜렷하게 우수하고 ImageNet에서 기준보다 상회하거나 비슷하게 나타난다.