[논문 리뷰] Restoring balance: principled under/oversampling of data for optimal classification

Emanuele Loffredo, Mauro Pastore외 2명|arXiv (Cornell University)|2024. 05. 15.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 고차원 선형 분류기에 대한 클래스 불균형 하에서의 정확한 해석적 일반화 곡선을 도출하고, 최적의 혼합 과소샘플링/과샘플링 전략을 식별하며, 실데이터와 심층 모델에서 예측을 검증한다.

ABSTRACT

Class imbalance in real-world data poses a common bottleneck for machine learning tasks, since achieving good generalization on under-represented examples is often challenging. Mitigation strategies, such as under or oversampling the data depending on their abundances, are routinely proposed and tested empirically, but how they should adapt to the data statistics remains poorly understood. In this work, we determine exact analytical expressions of the generalization curves in the high-dimensional regime for linear classifiers (Support Vector Machines). We also provide a sharp prediction of the effects of under/oversampling strategies depending on class imbalance, first and second moments of the data, and the metrics of performance considered. We show that mixed strategies involving under and oversampling of data lead to performance improvement. Through numerical experiments, we show the relevance of our theoretical predictions on real datasets, on deeper architectures and with sampling strategies based on unsupervised probabilistic models.

연구 동기 및 목표

• 고차원 감독 학습에서 클래스 불균형 문제를 동기 부여하고 형식화한다.
• 통계 역학 방법을 사용하여 불균형 하의 선형 분류기의 일반화 성능에 대한 정확한 해석적 식을 개발한다.
• 성능 지표를 극대화하기 위해 혼합 접근법을 포함한 최적의 과소샘플링/과샘플링 전략을 식별한다.
• 실험을 통해 이론적 예측을 실제 데이터셋과 더 깊은 아키텍처 및 고급 샘플링 방법과 함께 검증한다.

제안 방법

• 모델 학습을 기반으로 한 경험적 위험 최소화(Empirical Risk Minimization)와 결합 마진(SVM의 소프트 마진)에서 구면 규제를 적용한다.
• 데이터를 1차 및 2차 통계량(평균 M, 이동 δ, 공분산 C)으로 특성화하고 고차원 한계(L→∞)를 가정한다.
• 동일한 스왑 매개변수에서 데이터 통계와 불균형 비율의 함수로 성능 지표를 얻기 위해 리플라카 방법(replica method)을 적용하여 사영-점(saddle-point) 방정식을 도출한다.
• 스나펠 포인트에서 해결된 매개변수들로 테스트 사전 활성화 분포 Δ±를 통해 혼용된 예측(혼합 비율 포함)으로 테스트 지표(오류행렬, ACC, BA, AUC)의 정확한 점근적 예측을 도출한다.
• 불균형이 지표에 미치는 영향을 분석하고 과소샘플링/과대샘플링의 최적 혼합 매개변수(혼합 비율)를 계산한다.
• 이론을 더 깊은 모델로 확장하기 위해 수치 실험을 수행하고 비지도 RBM 기반 샘플링(LIS)과 간단한 과소/과다 샘플링 전략을 탐구한다.

실험 결과

연구 질문

• RQ1 고차원 구간에서 클래스 불균형이 선형 분류기의 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 다양한 성능 지표에 대해 불균형을 효과적으로 완화하는 샘플링 전략은 어떤 것인가(과소샘플링, 과샘플링 또는 혼합)?
• RQ3 현실적 데이터 통계에서 혼합 과소/과다 샘플링 접근법이 순수한 과소샘플링이나 과샘플링보다 더 나은가?
• RQ4 이론적 예측이 더 깊은 아키텍처와 더 정교한 샘플링 방법에서 타당한가?

주요 결과

• AUC는 클래스 불균형에 비교적 둔감한 반면 BA는 더 정보가 많고 균형 잡힌 학습을 선호한다.
• 불균형 하에서 최적의 일반화 성능은 종종 순수한 과소샘플링이나 과샘플링보다는 혼합 과소샘플링/과샘플링을 필요로 한다.
• 완전한 과소샘플링은 최적이 아니며, 혼합 전략이 여러 테스트 시나리오에서 더 높은 균형 정확도(BA)를 낳는다.
• RBM 기반 Likelihood-Informed Sampling(LIS)은 선형 SVM과 MNIST 유사 작업에서 무작위 샘플링보다 성능을 향상시킨다.
• 균형 학습은 딥 분류기의 성능을 향상시키고(예: 이진화된 CIFAR-10에 대해 미세 조정된 ResNet-50) 더 명확한 판정 경계를 제공한다.
• 이론은 합리적 공분산 가정 하에 벤치마크 데이터셋(MNIST 변형, CelebA)에서 BA 곡선을 정량적으로 예측한다.