[논문 리뷰] Review of Methods for Handling Class-Imbalanced in Classification Problems

Satyendra Singh Rawat, Amit Kumar Mishra|arXiv (Cornell University)|2022. 11. 10.

Imbalanced Data Classification Techniques인용 수 9

한 줄 요약

이 논문은 기계학습에서 클래스 불균형 문제를 해결하기 위한 방법에 대한 종합적인 리뷰를 제공하며, 데이터 수준, 알고리즘 수준, 하이브리드, 비용 감안, 딥 러닝 접근법을 평가한다. 소수 클래스 성능은 SMOTE 및 비용 감안 학습과 같은 맞춤형 기법을 통해 크게 향상되며, 테스트 시나리오에서 F1 스코어 향상 최대 30%를 기록한다.

ABSTRACT

Learning classifiers using skewed or imbalanced datasets can occasionally lead to classification issues; this is a serious issue. In some cases, one class contains the majority of examples while the other, which is frequently the more important class, is nevertheless represented by a smaller proportion of examples. Using this kind of data could make many carefully designed machine-learning systems ineffective. High training fidelity was a term used to describe biases vs. all other instances of the class. The best approach to all possible remedies to this issue is typically to gain from the minority class. The article examines the most widely used methods for addressing the problem of learning with a class imbalance, including data-level, algorithm-level, hybrid, cost-sensitive learning, and deep learning, etc. including their advantages and limitations. The efficiency and performance of the classifier are assessed using a myriad of evaluation metrics.

연구 동기 및 목표

• 감독 학습에서 클래스 불균형을 완화하기 위한 기존 방법을 체계적으로 평가하기 위해.
• 데이터 수준, 알고리즘 수준, 하이브리드, 비용 감안, 딥 러닝 접근법의 강점과 한계를 규명하기 위해.
• 정확도 외의 다양한 평가 지표를 사용하여 분류기 성능, 특히 소수 클래스에 대한 성능을 평가하기 위해.
• 데이터셋 특성과 응용 요구사항에 기반해 실무자들이 최적의 전략을 선택할 수 있도록 안내하기 위해.

제안 방법

• 불균형 처리 기법을 다섯 가지 주요 그룹으로 분류: 데이터 수준, 알고리즘 수준, 하이브리드, 비용 감안 학습, 딥 러닝 방법.
• 데이터 수준 기법을 검토: 예를 들어 SMOTE와 같은 오버샘플링 및 언더샘플링을 통해 클래스 분포를 재균형화.
• 알고리즘 수준 방법을 분석: 학습 중에 소수 클래스 예제를 우선시하도록 학습 알고리즘을 수정.
• 하이브리드 접근법을 검토: 데이터 및 알고리즘 기법을 조합하여 더 강건한 성능을 확보.
• 비용 감안 학습을 평가: 소수 클래스 인스턴스에 대해 더 높은 오분류 페널티를 부여.
• 딥 러닝 기반 솔루션을 논의: 신경망 학습을 위한 클래스 가중 손실 함수 및 포칼 손실

실험 결과

연구 질문

• RQ1 어느 방법이 불균형 데이터셋에서 소수 클래스 탐지에 가장 효과적으로 기여하는가?
• RQ2 SMOTE와 같은 데이터 수준 기법이 F1 스코어와 AUC-ROC 측면에서 알고리즘 수준 조정과 비교해 어떻게 성능을 냈는가?
• RQ3 실제 응용에서 오버샘플링, 언더샘플링, 앙상블 기반 접근법 사이의 상충 관계는 무엇인가?
• RQ4 비용 감안 학습과 포칼 손실이 불균형 데이터에서 모델 일반화 능력 향상에 얼마나 기여하는가?
• RQ5 F1 스코어와 AUC-ROC와 같은 평가 지표는 소수 클래스에 대한 모델의 진정된 성능를 얼마나 정확히 반영하는가?

주요 결과

• SMOTE 및 기타 오버샘플링 기법은 소수 클래스의 F1 스코어를 일관되게 향상시키며, 일부 벤치마크에서 최대 30% 향상.
• 소수 클래스 오분류 비용이 높을 경우 비용 감안 학습 방법이 표준 모델보다 뚜렷이 뛰어난 성능을 보인다.
• SMOTE와 앙상블 모델(예: SMOTE를 적용한 XGBoost)을 조합한 하이브리드 접근법은 독립된 방법보다 더 높은 AUC-ROC 및 F1 스코어를 달성한다.
• 딥 러닝 모델에서 포칼 손실은 쉬운 다수 클래스 예제의 지배를 줄여 희귀 클래스에 대한 수렴성과 성능을 향상시킨다.
• 정확도는 불균형 데이터에 대해 부적절한 지표이며, F1 스코어와 AUC-ROC가 소수 클래스 성능에 대해 더 신뢰할 수 있는 지표이다.
• 단일 방법이 항상 다른 방법보다 뛰어나지 않으며, 성능는 데이터셋 크기, 특징 분포, 클래스 기울기 비율에 크게 의존한다.