[논문 리뷰] Balanced Symmetric Cross Entropy for Large Scale Imbalanced and Noisy Data

F. Huang, Jie Li외 1명|arXiv (Cornell University)|2020. 07. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 12

한 줄 요약

이 논문은 대규모 이미지 분류에서 클래스 불균형과 레이블 노이즈 문제를 해결하는 데 전용으로 설계된 새로운 손실 함수인 균형 잡힌 대칭 교차 엔트로피(Balanced Symmetric Cross Entropy, BSCE)를 제안한다. 대칭 교차 엔트로피와 클래스 균형 가중치를 조합함으로써, BSCE는 불균형 데이터셋에서 일반화 성능을 향상시킨다. PNASNet과 음성 학습(negative learning)과 조합할 경우, 온라인 테스트 데이터에서 평균 top-1 오차가 0.1515에 도달하여 기준 모델들을 능가한다.

ABSTRACT

Deep convolution neural network has attracted many attentions in large-scale visual classification task, and achieves significant performance improvement compared to traditional visual analysis methods. In this paper, we explore many kinds of deep convolution neural network architectures for large-scale product recognition task, which is heavily class-imbalanced and noisy labeled data, making it more challenged. Extensive experiments show that PNASNet achieves best performance among a variety of convolutional architectures. Together with ensemble technology and negative learning loss for noisy labeled data, we further improve the model performance on online test data. Finally, our proposed method achieves 0.1515 mean top-1 error on online test data.

연구 동기 및 목표

• 대규모 제품 인식 데이터셋에서 심각한 클래스 불균형과 노이즈가 있는 레이블 문제를 해결하기 위해.
• 왜곡되고 신뢰할 수 없는 주석이 있는 실제 세계의 대규모 시각 분류 작업에서 딥 러닝 모델의 성능을 향상시키기 위해.
• 장수 분포와 레이블 노이즈의 부정적 영향을 완화할 수 있는 강력한 학습 목표를 개발하기 위해.
• 불균형적이고 노이즈가 있는 데이터에서의 일반화 성능 향상을 위해 모델 아키텍처, 손실 함수, 앙상블 기법을 평가하고 최적화하기 위해.
• 대규모 제품 인식을 위한 온라인 벤치마크 평가에서 최신 성능를 달성하기 위해.

제안 방법

• 장수 분포 데이터 분포 문제를 해결하기 위해 대칭 교차 엔트로피와 클래스 균형 가중치를 조합한 하이브리드 손실인 균형 잡힌 대칭 교차 엔트로피(Balanced Symmetric Cross Entropy, BSCE)를 제안한다.
• 클래스 별 손실을 재가중시켜 빈도가 높은 클래스의 영향을 줄이고 희귀 클래스의 학습을 향상시키기 위해 클래스 균형 가중치를 적용한다.
• 학습 안정성을 향상시키기 위해 교차 엔트로피와 그 반대 방향의 손실을 동시에 최소화하는 대칭 교차 엔트로피를 사용하여 노이즈가 있는 레이블에 대한 강건성을 향상시킨다.
• 대규모 시각 작업에서 뛰어난 성능을 보이는 것으로 알려진 PNASNet을 백본 아키텍처로 채택한다.
• 학습 중 노이즈 레이블의 영향을 추가로 줄이기 위해 음성 학습 손실을 통합한다.
• 제안된 손실과 함께 모델 앙상블을 조합하여 일반화 성능과 테스트 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 이미지 분류에서 동시에 클래스 불균형과 레이블 노이즈 문제를 해결할 수 있는 손실 함수는 어떻게 설계할 수 있는가?
• RQ2 클래스 균형 가중치를 적용한 대칭 교차 엔트로피는 장수 분포 데이터셋에서 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 BSCE, PNASNet, 음성 학습의 조합이 실제 세계의 노이즈가 많고 불균형적인 벤치마크에서 성능 향상에 기여하는가?
• RQ4 온라인 테스트 세트에서의 top-1 오차 측면에서 제안된 방법은 표준 교차 엔트로피 및 기타 손실 함수와 비교해 어떤가?
• RQ5 모델 앙상블은 노이즈가 많고 불균형한 환경에서 BSCE의 강건성에 어느 정도 기여하는가?

주요 결과

• 제안된 균형 잡힌 대칭 교차 엔트로피(Balanced Symmetric Cross Entropy, BSCE) 손실은 표준 교차 엔트로피에 비해 장수 분포 및 노이즈가 있는 데이터셋에서 모델 성능을 크게 향상시킨다.
• 다양한 아키텍처 중에서 BSCE로 훈련된 PNASNet이 가장 뛰어난 성능를 보이며, 이는 대규모 시각 작업에 적합함을 시사한다.
• 음성 학습 손실의 통합은 노이즈 레이블의 영향을 추가로 줄여 테스트 데이터에서의 일반화 성능을 향상시킨다.
• 최종 모델은 PNASNet, BSCE, 앙상블 기법을 조합하여 온라인 테스트 세트에서 평균 top-1 오차 0.1515를 기록했으며, 이는 최신 성능를 나타낸다.
• BSCE의 대칭 성분은 특히 레이블 노이즈 상황에서 학습 안정성과 강건성을 향상시킨다.
• 클래스 균형 가중치는 빈도가 높은 클래스의 지배를 효과적으로 완화하여 희귀 및 부족한 카테고리에서의 학습을 향상시킨다.