[논문 리뷰] Survey of resampling techniques for improving classification performance in unbalanced datasets

Ajinkya More|arXiv (Cornell University)|2016. 08. 22.

Imbalanced Data Classification Techniques참고 문헌 10인용 수 179

한 줄 요약

본 논문은 불균형 분류를 위한 재샘플링 기법을 검토하고, 소수 클래스의 재현율과 다수 클래스의 정확도에 관해 합성 데이터셋에서 여러 방법을 비교한다.

ABSTRACT

A number of classification problems need to deal with data imbalance between classes. Often it is desired to have a high recall on the minority class while maintaining a high precision on the majority class. In this paper, we review a number of resampling techniques proposed in literature to handle unbalanced datasets and study their effect on classification performance.

연구 동기 및 목표

• 사기 탐지, 상품 분류, 질병 진단 등 다양한 도메인에서 데이터 불균형 문제를 동기화하고 정의합니다.
• 합성 이진 데이터 세트에서 광범위한 재샘플링 기법을 체계적으로 비교하여 소수 재현율과 다수 정확도에 미치는 영향을 평가합니다.
• 로지스틱 회귀와 같은 일반적인 분류기에 대해 다양한 방법이 의사결정 경계에 미치는 영향을 보여줍니다.
• 본 연구에서 선택된 지표 하에서 최고 성능을 제공하는 조합과 앙상블을 강조합니다.

제안 방법

• 불균형을 시뮬레이션하기 위해 계급 가중치가 비대칭인 합성 이진 데이터 세트를 사용합니다 (r = |S|/|L| = 0.1).
• 일반적인 교차 검증으로 기준 로지스틱 회귀를 평가하여 기준(reference)을 설정합니다.
• 클래스 가중치 손실, 언더샘플링(무작위, NearMiss 변형, CNN, ENN, Tomek), 오버샘플링(무작위, SMOTE, Borderline-SMOTE 변형) 및 조합(SMOTE+ENN, SMOTE+Tomek)을 적용합니다.
• 재샘플링과 부스팅을 결합하는 EasyEnsemble, BalanceCascade와 같은 앙상블 접근법을 검토합니다.
• 매개변수 선택을 위한 5-폴드 CV와 70/30 학습/테스트 분할에서 다수 클래스(L)의 정밀도와 소수 클래스(S)의 재현율 측면의 성능을 보고합니다.

실험 결과

연구 질문

• RQ1 다양한 재샘플링 전략이 다수 클래스의 정밀도와 소수 클래스의 재현율 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ2 합성 불균형 데이터에서 소수 재현율을 최적화하면서 다수의 정밀도를 높게 유지하는 최상의 재샘플링 방법이나 조합은 무엇인가?
• RQ3 집합 방법들이 주어진 지표에서 단일 모델 재샘플링 접근법보다 성능이 높은가?
• RQ4 가중 손실 사용과 재샘플링만 사용하는 경우 간의 분류 성능 차이는 무엇인가?
• RQ5 특정 변형들(예: Borderline-SMOTE, ENN, Tomek, SMOTE+ENN)이 이 설정에서 일관되게 더 높은 성능을 보이는가?

주요 결과

• 재샘플링 없이 기본 로지스틱 회귀는 소수 재현율이 낮고(0.12) 다수 정확도는 높은 편이다(0.90).
• 가중 손실은 소수 재현율을 높이고(0.89) 다수 정확도도 높게 유지한다(0.98).
• 언더샘플링 방법은 일반적으로 다수 클래스 정밀도를 감소시키지만 일부 변형(NearMiss 변형, CNN, ENN)에서 소수 재현율을 향상시킬 수 있으며 효과는 다양하다.
• 오버샘플링 방법은 특히 SMOTE 변형 및 조합(SMOTE+ENN, SMOTE+Tomek)이 소수 재현율을 크게 향상시키며 다수 정확도도 유지되거나 높다.
• EasyEnsemble 및 BalanceCascade와 같은 앙상블 방법은 L에 대한 높은 정밀도(약 0.99)와 소수 재현율(약 0.91)을 달성한다.
• 전반적으로 이 합성 데이터 세트에서 선택된 지표에 대해 SMOTE+ENN, 로지스틱 회귀 및 BalanceCascade 조합이 강한 성능을 보였다.