[논문 리뷰] Handling Imbalanced Data: A Case Study for Binary Class Problems

Richmond Addo Danquah|arXiv (Cornell University)|2020. 10. 09.

Imbalanced Data Classification Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 불균형 이진 분류 문제를 다루기 위해 SMOTE와 ADASYN을 수작업으로 알고리즘적으로 투명하게 비교하는 것을 제안한다. 두 기법이 어떻게 소수 클래스 샘플을 생성하는지 명확히 하기 위해 수작업으로 합성 데이터 포인트를 계산한다—SMOTE는 균일하게, ADASYN은 이웃 밀도에 따라 적응적으로 생성한다. 이는 ADASYN이 특히 높은 불균형 비율에서 학습이 어려운 소수 클래스 인스턴스의 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

For several years till date, the major issues in terms of solving for classification problems are the issues of Imbalanced data. Because majority of the machine learning algorithms by default assumes all data are balanced, the algorithms do not take into consideration the distribution of the data sample class. The results tend to be unsatisfactory and skewed towards the majority sample class distribution. This implies that the consequences as a result of using a model built using an Imbalanced data without handling for the Imbalance in the data could be misleading both in practice and theory. Most researchers have focused on the application of Synthetic Minority Oversampling Technique (SMOTE) and Adaptive Synthetic (ADASYN) Sampling Approach in handling data Imbalance independently in their works and have failed to better explain the algorithms behind these techniques with computed examples. This paper focuses on both synthetic oversampling techniques and manually computes synthetic data points to enhance easy comprehension of the algorithms. We analyze the application of these synthetic oversampling techniques on binary classification problems with different Imbalanced ratios and sample sizes.

연구 동기 및 목표

• 표준 머신러닝 알고리즘이 다수 클래스를 우선시하는 불균형 데이터 문제에 지속적으로 대처하기 위해.
• SMOTE와 ADASYN에 대한 합성 데이터 생성의 상세하고 단계적인 수작업 계산을 제공하여 알고리즘 이해를 향상시키기 위해.
• 표준 분류 지표를 사용하여 다양한 불균형 비율과 샘플 크기에서 SMOTE와 ADASYN의 성능을 비교하기 위해.
• ADASYN의 이웃 밀도 기반 적응형 샘플링 전략이 학습이 어려운 소수 클래스 인스턴스 탐지에 더 나은 성능을 보이는 이유를 입증하기 위해.
• 사기 탐지 및 의료 진단과 같은 실생활 응용 분야에 대한 합성 오버샘플링 기법에 실질적인 통찰을 제공하기 위해.

제안 방법

• 각 소수 클래스 샘플에 대해 k개의 가장 가까운 이웃을 선택하고, 샘플과 이웃 사이의 랜덤 벡터를 계산하여 그 벡터를 따라 새로운 점을 생성함으로써 수작업으로 합성 데이터 포인트를 계산하는 SMOTE를 사용함.
• 각 소수 클래스 샘플의 k개 이웃 중 다수 클래스 이웃의 비율을 계산하여 ADASYN을 적용함으로써 샘플링 우선순위를 결정함.
• 난이도 점수(다수 클래스 이웃 비율)에 비례하여 합성 샘플을 생성함으로써, 높은 점수를 가진 샘플은 더 많은 합성 샘플을 생성함.
• 소수 클래스 인스턴스당 합성 샘플 수가 다수 클래스 이웃의 밀도 비례하도록 가중 분포를 적용함.
• 모델 성능을 비교하기 위해 정확도, 정밀도, 재현율, F1-스코어, AUC와 같은 표준 평가 지표를 사용함.
• 불균형 비율과 다양한 샘플 크기를 제어한 실생활 기반 이진 데이터셋에 기법을 적용하여 내구성 평가함.

실험 결과

연구 질문

• RQ1 SMOTE와 ADASYN은 다양한 정도의 클래스 불균형이 있는 이진 분류 문제에 적용되었을 때 어떻게 다른 성능을 보이는가?
• RQ2 합성 오버샘플링은 불균형 데이터셋에서 Recall, F1-스코어, AUC와 같은 핵심 분류 지표에 어떤 영향을 미치는가?
• RQ3 ADASYN의 적응형 샘플링 전략은 SMOTE의 균일한 샘플링에 비해 학습이 어려운 소수 클래스 인스턴스의 모델 성능을 어떻게 향상시키는가?
• RQ4 합성 데이터 포인트의 수작업 계산은 SMOTE와 ADASYN의 알고리즘적 메커니즘 이해를 어떻게 향상시키는가?
• RQ5 샘플 크기와 불균형 비율은 합성 오버샘플링 기법의 효과성에 어떤 영향을 미치는가?

주요 결과

• 특히 높은 불균형 비율에서 ADASYN은 Recall과 F1-스코어에서 SMOTE를 능가하며, 학습이 어려운 소수 클래스 인스턴스에 더 많은 합성 샘플을 생성하기 때문이다.
• SMOTE와 ADASYN에 대한 합성 포인트의 수작업 계산은 알고리즘 과정을 명확히 하며, SMOTE는 소수 클래스 샘플 전반에 균일하게 점을 생성하는 반면, ADASYN은 다수 클래스 이웃이 많은 샘플을 우선순위로 삼는다는 점을 보여준다.
• 소수 클래스가 세 개의 샘플인 예시에서 SMOTE는 두 개의 합성 포인트인 (4.5, 3)과 (5, 2.5)를 생성하여 소수 클래스를 다섯 개로 늘여 불균형 비율을 개선했다.
• ADASYN의 적응형 메커니즘은 다수 클래스 이웃의 밀도가 높은 영역에 더 효과적으로 합성 샘플을 분포시키며, 이는 일반적으로 모호하고 학습이 어려운 영역이다.
• 이 연구는 불균형 환경에서는 정확도만으로는 오해의 소지가 있으며, 소수 클래스 탐지에 있어 Recall과 F1-스코어가 더 유의미한 지표임을 확인한다.
• 결과적으로 ADASYN은 학습이 어려운 소수 클래스 인스턴스에 집중할 수 있는 능력 덕분에 높은 불균형 상황에서 SMOTE보다 더 견고함을 시사한다. 이는 모델 예측의 편향을 줄이는 데 기여한다.