[논문 리뷰] Simplifying Neural Network Training Under Class Imbalance

Ravid Shwartz-Ziv, Micah Goldblum외 3명|arXiv (Cornell University)|2023. 12. 05.

Imbalanced Data Classification Techniques인용 수 8

한 줄 요약

논문은 표준 신경망 학습 구성요소(배치 크기, 데이터 증강, 최적화 알고리즘, 라벨 스무딩)를 세심하게 조정하고 경량 최적화 기법(Joint-SSL, SAM-A, 맞춤형 라벨 스무딩)을 더하는 것이 특수한 불균형 방법 없이도 불균형 데이터에서 최첨단 성능을 달성함을 보여준다

ABSTRACT

Real-world datasets are often highly class-imbalanced, which can adversely impact the performance of deep learning models. The majority of research on training neural networks under class imbalance has focused on specialized loss functions, sampling techniques, or two-stage training procedures. Notably, we demonstrate that simply tuning existing components of standard deep learning pipelines, such as the batch size, data augmentation, optimizer, and label smoothing, can achieve state-of-the-art performance without any such specialized class imbalance methods. We also provide key prescriptions and considerations for training under class imbalance, and an understanding of why imbalance methods succeed or fail.

연구 동기 및 목표

• 실제 데이터셋에서 소수 클래스가 성능 저하를 겪는 클래스 불균형 문제를 연구하는 동기를 부여한다.
• 조정된 표준 학습 구성요소가 특수한 불균형 방법과 대등하거나 그 이상일 수 있음을 입증한다.
• 시각 및 표 형식 도메인 전반에 걸쳐 불균형 학습하에 실용적인 훈련 처방전을 제공한다.

제안 방법

• 불균형 설정에서 학습의 기본 구성 요소(배치 크기, 데이터 증강, 사전 학습, 모델 아키텍처, 최적화 알고리즘)를 체계적으로 조정한다.
• 불균형에 맞춘 최적화 기법을 도입하고 적용한다: J oint-SSL(학습 중 자기지도 손실), 비대칭적 SAM(SAM-A)으로 소수 클래스의 여백 확대, 표적 라벨 스무딩.
• 정규화 및 과적합의 역할을 분석하고 Neural Collapse를 포함하여 조정된 루틴이 왜 성공하는지 설명한다.
• 조정된 루틴을 시각 벤치마크(이미지 데이터셋 및 아키텍처)와 표 데이터셋에 적용하여 일반화를 평가한다.
• 밸런싱에 특화된 다양한 방법과 벤치마크를 비교하여 조정 루틴과 결합 시 최첨단 성능을 확립한다.

실험 결과

연구 질문

• RQ1 표준 학습 구성요소가 시각 및 표 형식 도메인에서 클래스 불균형 하의 모델 성능에 어떤 영향을 미치는가?
• RQ2 경량화된 SSL, SAM, 라벨 스무딩의 적응이 소수 클래스의 성능 향상에 기여하는가?
• RQ3 조정된 루틴이 특수 불균형 방법보다 나은 이유를 설명하는 메커니즘은 무엇인가(예: 정규화, 여백 변화)?
• RQ4 조정 루틴이 이미지 분류를 넘어 다양한 데이터셋과 아키텍처에 일반화되는가?
• RQ5 실세계의 불균형 데이터셋이 이러한 방법들에 어떻게 반응하는가? 웹에서 수집된 벤치마크와 비교하여?

주요 결과

• 배치 크기는 매우 불균형한 설정에서 더 큰 영향을 미치며, 더 작은 배치가 소수 클래스 정확도에 유리한 경우가 많다.
• 불균형 하에서 데이터 증강 효과가 확대되며, 특히 소수 클래스에 대한 영향력이 크고 정책 선택은 불균형 수준에 따라 달라진다.
• 더 큰 아키텍처는 강한 불균형에서 소수 클래스에 과적합할 수 있는 반면, 중간 규모의 아키텍처가 최상의 성능을 낼 수 있다.
• 학습 중에 통합된 자기지도 손실(Joint-SSL)은 불균형 설정에서 표현력과 일반화를 개선한다.
• 소수 클래스 손실 항을 강조하는 수정된 Sharpness-Aware Minimization(SAM-A)은 소수 클래스 정확도를 향상시킨다.
• 라벨 스무딩을 특히 소수 클래스에 더 강하게 적용하면 소수 샘플에 대한 과적합을 방지하는 데 도움이 된다.
• 특히 더 큰 상위 데이터셋에서의 자기지도 사전학습이 강한 다운스트림 불균형에서 더 큰 이득을 가져온다.
• Joint-SSL, SAM-A, 맞춤형 라벨 스무딩의 조합이 M2m 위에서 여러 시각 벤치마크와 실제 데이터셋에서 새로운 최첨단 성능을 확립한다.
• 조정된 학습 루틴은 표 데이터셋에서도 베이스라인보다 우수한 성능을 보이며 이미지를 넘어 적용 가능성을 보여준다.
• 정규화는 소수 샘플에 대한 과적합을 방지하는 데 핵심적인 역할을 하며, Neural Collapse 현상은 순수한 학습에서 더 두드러지며 제시된 방법으로 완화된다.