[논문 리뷰] MetaBalance: High-Performance Neural Networks for Class-Imbalanced Data

Arpit Bansal, Micah Goldblum외 4명|arXiv (Cornell University)|2021. 06. 17.

Imbalanced Data Classification Techniques참고 문헌 34인용 수 4

한 줄 요약

MetaBalance는 내부 최적화 루프와 외부 최적화 루프에서 학습 전략을 분리하여, 과도하게 불균형한 데이터에서 깊이 신경망을 훈련시키는 메타학습 접근법을 제안한다. 이는 소수 클래스의 일반화 성능을 크게 향상시키면서도 과적합을 방지한다. 이미지 분류, 사기 탐지, 대출 불이행 예측, 얼굴 인식 작업 전반에서 표준 리샘플링 및 리웨이팅 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Class-imbalanced data, in which some classes contain far more samples than others, is ubiquitous in real-world applications. Standard techniques for handling class-imbalance usually work by training on a re-weighted loss or on re-balanced data. Unfortunately, training overparameterized neural networks on such objectives causes rapid memorization of minority class data. To avoid this trap, we harness meta-learning, which uses both an ''outer-loop'' and an ''inner-loop'' loss, each of which may be balanced using different strategies. We evaluate our method, MetaBalance, on image classification, credit-card fraud detection, loan default prediction, and facial recognition tasks with severely imbalanced data, and we find that MetaBalance outperforms a wide array of popular re-sampling strategies.

연구 동기 및 목표

• 극도로 불균형한 데이터셋에서 훈련된 딥 네트워크의 낮은 일반화 성능 문제를 해결하기 위해, 소수 클래스가 종종 忽시되거나 과적합되는 것을 방지한다.
• 과도하게 파rameter화된 모델에서 과적합을 방지하지 못하는 표준 리샘플링 및 리웨이팅 기법의 한계를 극복한다.
• 내부 루프와 외부 루프 최적화 전략을 균형 있게 조절함으로써 메타학습을 활용해 강건한 표현을 학습하는 훈련 프레임워크를 개발한다.
• 다수 클래스의 정확도를 희생시키지 않고 소수 클래스 성능을 향상시켜 더 나은 종합 일반화 성능을 달성한다.
• 이질적인 실제 응용 분야(이미지 분류, 금융 리스크 예측 등)에서 심각한 클래스 불균형이 존재하는 경우 MetaBalance의 효과성을 입증한다.

제안 방법

• 내부 및 외부 최적화 루프를 별도로 운영하는 메타학습 프레임워크를 활용하여, 각 루프에서 별도의 샘플링 및 손실 전략을 적용한다.
• 내부 루프에서는 오버샘플링 또는 데이터 증강을 활용해 균형 잡힌 데이터 서브셋으로 모델을 미세 조정하여 소수 클래스 패턴에 적응한다.
• 외부 루프에서는 전체 불균형 데이터셋에 대한 표준 손실(가중치 없음)을 사용해 초기 모델 파라미터를 최적화하여 일반화 성능을 유지한다.
• 이중 최적화 목표를 사용하여 외부 루프가 내부 루프 한 번의 업데이트 후 계산된 검증 손실을 최소화함으로써, 클래스 불균형에 강건한 파라미터를 학습할 수 있도록 한다.
• 내부 루프에서 믹업(Mixup) 및 컷믹(CutMix)과 같은 데이터 증강 기법을 통합하여 명시적 오버샘플링 없이 다양한 소수 클래스 샘플을 생성한다.
• 루프 간 학습 전략을 분리한다: 내부 루프에서는 신속한 적응을 위한 균형 잡힌 데이터를, 외부 루프에서는 메타최적화를 위한 불균형 데이터를 사용함으로써 소수 클래스 샘플의 기억화를 방지한다.

실험 결과

연구 질문

• RQ1 메타학습은 극도로 불균형한 데이터에서 훈련된 딥 네트워크의 일반화 성능 향상에 효과적으로 활용될 수 있는가?
• RQ2 내부 및 외부 최적화 루프에서 샘플링 및 손실 전략을 분리하면, 표준 리샘플링 또는 리웨이팅 기법보다 소수 클래스 성능 향상에 기여하는가?
• RQ3 MetaBalance는 난이도 높은 훈련, 오버샘플링, 언더샘플링에 비해 다수 및 소수 클래스의 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 특히 과도하게 파rameter화된 모델에서 MetaBalance는 소수 클래스 샘플에 대한 과적합을 어느 정도 방지하는가?
• RQ5 MetaBalance는 심각한 클래스 불균형이 존재하는 다양한 도메인(이미지 분류, 사기 탐지, 얼굴 인식 등)에서 일반화 가능한가?

주요 결과

• 심각한 불균형을 가진 CIFAR-10 변형 데이터셋에서 MetaBalance는 전반적인 테스트 정확도 29%를 달성했으며, 난이도 높은 모델(16.14%)과 이전 방법들을 크게 능가했다.
• 동일한 불균형 CIFAR-10 데이터셋에서 MetaBalance는 소수 클래스 평균 정확도 30%를 기록했고, 이는 이전 최고 성능 방법의 14.3%에 그친다.
• MetaBalance로 훈련된 모델은 훈련 및 테스트 시 모두 다수 클래스에서 60%의 정확도를 유지했으며, 난이도 높은 모델에서 관찰된 98.3%의 과적합 현상은 피했다.
• 난이도 높은 모델의 임계값을 MetaBalance의 다수 클래스 정확도와 맞추더라도 전체 성능(27.03%)은 MetaBalance의 29%에 못 미친다.
• MetaBalance는 소수 클래스 샘플에 대한 과적합을 줄여주며, 표준 훈련에서 관찰되는 흔한 결정 경계의 '지리적 조작'(gerrymandering) 현상을 방지한다.
• 언더샘플링 방법은 다수 클래스에서 큰 데이터 손실로 인해 성능이 열악한 반면, MetaBalance는 다수 및 소수 클래스 양쪽에서 강력한 성능을 유지해 종합 정확도에서 열등한 성능을 내는다.