[논문 리뷰] ReMix: Calibrated Resampling for Class Imbalance in Deep learning

Colin Bellinger, Roberto Corizzo외 1명|arXiv (Cornell University)|2020. 12. 03.

Imbalanced Data Classification Techniques참고 문헌 31인용 수 9

한 줄 요약

ReMix는 표본 수가 적은 데이터셋에서 딥러닝을 위한 데이터 효율적이고 校정 인식 기반의 훈련 방법으로, 배치 재표본 추출, 특징 혼합(선형 조합을 통한), 소프트 레이블링을 결합하여 편향을 감소시키고 모델의 校정 성능을 향상시킨다. 이는 표본, 이미지, 다중 클래스 데이터에서 SMOTE, MixUp, 비용 조정 방법보다 예측 성능(g-mean)과 校정 성능(균형 Brier 점수) 측면에서 뛰어나다.

ABSTRACT

Class imbalance is a problem of significant importance in applied deep learning where trained models are exploited for decision support and automated decisions in critical areas such as health and medicine, transportation, and finance. The challenge of learning deep models from imbalanced training data remains high, and the state-of-the-art solutions are typically data dependent and primarily focused on image data. Real-world imbalanced classification problems, however, are much more diverse thus necessitating a general solution that can be applied to tabular, image and text data. In this paper, we propose ReMix, a training technique that leverages batch resampling, instance mixing and soft-labels to enable the induction of robust deep models for imbalanced learning. Our results show that dense nets and CNNs trained with ReMix generally outperform the alternatives according to the g-mean and are better calibrated according to the balanced Brier score.

연구 동기 및 목표

• 표본, 이미지, 텍스트 등 다양한 데이터 유형에서 딥러닝의 클래스 불균형 문제에 대해 일반화 가능하고 校정 인식 기반의 해결책이 부족한 점을 보완한다.
• SMOTE와 GAN 기반 오버샘플링의 한계를 극복한다. 이는 분포 수축, 높은 계산 비용, 낮은 校정 성능 문제를 야기한다.
• 다수 클래스에 대한 예측 편향을 줄이고 소수 클래스의 校정 성능을 향상시켜 모델의 강건성과 공정성을 높인다.
• 도메인 특화 증강 기법이 필요 없이도 다양한 분야에서 효과적이고 계산적으로 효율적이며 쉽게 구현 가능한 방법을 개발한다.
• 의료, 금융, 교통 등 고위험 응용 분야에서 딥러닝의 안전한 구현을 가능하게 하여 신뢰성과 의사결정 일관성을 향상시킨다.

제안 방법

• ReMix는 실제 데이터 포인트 주변의 근접 분포 ν(⋅)에서 샘플링하여 미니배치를 구성함으로써 각 배치 내에서 근사적인 클래스 균형을 확보한다.
• 실제 샘플의 특징을 선형 조합(MixUp 방식)으로 혼합하여 특징 공간 상에서 그들 사이에 위치하는 합성 데이터 포인트를 생성한다.
• 소프트 레이블은 원래 클래스 레이블의 가중 평균으로 할당되어 부드러운 결정 경계와 향상된 校정 성능를 유도한다.
• 혼합 파라미터 α는 보간 강도를 제어하며, α = 0.3은 성능과 校정 성능의 균형을 잘 맞추는 것으로 경험적으로 도출되었다.
• 재표본 추출은 각 미니배치 단위로 수행되어 전체 데이터셋 전처리를 피하고 반복적 샘플링으로 인한 과적합 위험을 줄인다.
• 표준 딥러닝 프레임워크와 호환되며 최소한의 계산 오버헤드를 유발한다.

실험 결과

연구 질문

• RQ1 간단하고 일반적인 목적의 훈련 기법이 다양한 데이터 유형에서 불균형 딥러닝의 예측 성능과 校정 성능을 동시에 향상시킬 수 있는가?
• RQ2 표본 및 이미지 데이터셋에서 ReMix가 SMOTE와 MixUp에 비해 g-mean과 균형 Brier 점수 측면에서 어떻게 성능을 내는가?
• RQ3 혼합 하이퍼파라미터 α가 불균형 설정에서 모델 성능과 校정 성능에 미치는 영향은 무엇인가?
• RQ4 비유사한 클래스 간에 유해한 보간이 발생하지 않도록 ReMix가 다중 클래스 문제를 효과적으로 처리할 수 있는가?
• RQ5 도메인 특화 증강 기법이 이용 불가능하거나 너무 비쌀 경우 ReMix는 여전히 효과적인가?

주요 결과

• ReMix는 Musk 2, Eplieptic Seizure, CIFAR-10 포함 모든 평가된 데이터셋에서 SMOTE 및 MixUp보다 g-mean 측면에서 일관되게 뛰어난 성능을 보였다.
• 균형 Brier 점수로 측정한 결과, 특히 α = 0.3와 같은 높은 α 값에서 ReMix는 뚜렷한 校정 성능 향상을 보였다. 이는 예측 불확실성을 감소시켰다.
• 민감도 분석 결과, α = 0.3는 g-mean 안정성과 BBS 향상 사이의 최적의 트레이드오프를 제공하며, 다양한 데이터셋에서 성능 저하가 최소한이었다.
• Epileptic Seizure 데이터셋에서는 극단적인 클래스 불균형(100:1 이상) 조건에서도 ReMix(α = 0.3)가 g-mean에서 뚜렷한 향상을 보였다.
• 다중 클래스 설정에서는 노이즈가 있는 보간으로 인해 성능 저하가 약간 발생했지만, α를 낮춰 원본 샘플을 더 선호함으로써 이 문제를 완화할 수 있었다.
• 이미지 분류 결과에서는 데이터 증강을 적용한 ReMix(ReMix (Aug))가 가장 뛰어난 성능을 보였으며, 이는 도메인 특화 증강 기법을 통합할 경우 성능 향상이 더욱 뚜렷하다는 것을 시사한다.