[논문 리뷰] Imbalanced Image Classification with Complement Cross Entropy

Yechan Kim, Younkwan Lee외 1명|arXiv (Cornell University)|2020. 09. 04.

Imbalanced Data Classification Techniques참고 문헌 46인용 수 6

한 줄 요약

이 논문은 불균형 이미지 분류 성능을 햖을 수 있도록 훈련 중 잘못된 클래스에 대한 예측 확률을 명시적으로 억제하는 새로운 손실 함수인 보완 교차 엔트로피(CCE)를 제안한다. 잘못된 클래스의 소프트맥스 점수를 중성화함으로써 CCE는 소수 클래스에 대한 특징 학습을 향상시켜 추가 데이터나 하이퍼파라미터 조정 없이도 더 높은 정확도와 더 빠른 수렴을 이룬다.

ABSTRACT

Recently, deep learning models have achieved great success in computer vision applications, relying on large-scale class-balanced datasets. However, imbalanced class distributions still limit the wide applicability of these models due to degradation in performance. To solve this problem, in this paper, we concentrate on the study of cross entropy which mostly ignores output scores on incorrect classes. This work discovers that neutralizing predicted probabilities on incorrect classes improves the prediction accuracy for imbalanced image classification. This paper proposes a simple but effective loss named complement cross entropy based on this finding. The proposed loss makes the ground truth class overwhelm the other classes in terms of softmax probability, by neutralizing probabilities of incorrect classes, without additional training procedures. Along with it, this loss facilitates the models to learn key information especially from samples on minority classes. It ensures more accurate and robust classification results on imbalanced distributions. Extensive experiments on imbalanced datasets demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 장테일, 클래스 불균형 데이터셋에서 훈련된 딥러닝 모델의 성능 저하 문제를 해결하기 위해.
• 표준 교차 엔트로피가 최적화 과정에서 잘못된 클래스 예측를 무시하는 한계를 규명하기 위해.
• 소수 클래스를 위한 훈련 동역학을 향상시키는 단순하면서도 효과적인 손실 함수를 제안하기 위해.
• 데이터 수준의 재가중, 오버샘플링, 또는 복잡한 하이퍼파라미터 조정이 필요 없도록 하기 위해.

제안 방법

• 잘못된 클래스에 대한 예측 확률을 최소화하는 데 초점을 맞춘 수정된 손실 함수인 보완 교차 엔트로피(CCE)를 제안한다.
• 비틀림 없는 비트리미티드 손실 항목을 도입하여, 비정답 클래스에서 높은 소프트맥스 출력을 방지함으로써 효과적으로 이를 중성화한다.
• 보완 강도를 제어하는 온도 유사 매개변수 γ를 사용하며, 실험 전반에서 γ = -1 이 최적임을 발견하였다.
• 데이터 증강이나 클래스별 손실 스케일링 없이도 백프로파게이션 동안 직접 CCE를 적용한다.
• 기본 진술 클래스가 소프트맥스 출력 분포를 지배하도록 보장하는 대칭적 제형을 사용한다.
• 추가 모델 아키텍처 수정이나 외부 데이터 조작이 필요하지 않다.

실험 결과

연구 질문

• RQ1 잘못된 클래스에 대한 예측 확률을 억제하는 것이 불균형 이미지 분류에서 모델 일반화 성능을 향상시키는가?
• RQ2 잘못된 클래스 예측을 명시적으로 목표로 삼는 손실 함수가 장테일 데이터셋에서 표준 교차 엔트로피보다 우수한가?
• RQ3 간단하고 미분 가능한 손실 함수가 데이터 재샘플링이나 클래스 재가중 없이도 더 높은 성능을 달성할 수 있는가?
• RQ4 보완 매개변수 γ의 선택이 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ5 CCE는 소수 클래스 샘플에 대한 훈련 효율성과 강건성을 향상시킬 수 있는가?

주요 결과

• 장테일 분포를 가진 CIFAR-10-LT에서 CCE는 γ = -1일 때 95.39%의 균형 잡힌 정확도를 기록하여 표준 ERM 및 기타 베이스라인을 모두 앞섰다.
• 극도로 불균형한 Tiny ImageNet에서 CCE는 78.45%의 상위-1 정확도를 기록하여 ERM 및 포칼 손실보다 뚜렷하게 뛰어났다.
• SVHN에서 CCE는 ResNet-50의 정확도를 ERM의 95.15%에서 CCE 적용 시 95.15%로 향상시켜 다양한 아키텍처 간 일관된 성능 향상을 보였다.
• 모든 데이터셋에서 최적의 γ 값은 -1으로 확인되었으며, |γ|가 증가할수록 성능 저하가 발생했다.
• 일부 설정에서 CCE는 더 빠른 수렴 속도를 보였고, 추가 조정 없이도 소수 클래스에 대한 강건성을 향상시켰다.
• 오류 분석 결과, 외관적으로 유사한 카테고리 간의 혼동은 여전히 도전 과제로 남아 있어 향후 분류 해소 작업에 대한 여지가 있음을 시사했다.