[논문 리뷰] Survey of Imbalanced Data Methodologies

Lian Yu, Nengfeng Zhou|arXiv (Cornell University)|2021. 04. 06.

Imbalanced Data Classification Techniques참고 문헌 15인용 수 16

한 줄 요약

이 논문은 15개의 UCI/Keel 데이터셋에서 8개의 기계학습 알고리즘을 대상으로 불균형 데이터 처리 기법—특히 언더샘플링 및 오버샘플링 기법—을 평가한다. 연구 결과, 클래스 불균형 처리 기법이 로지스틱 회귀나 선형 SVM과 같은 단순 선형 모델에서 성능 향상에 가장 크게 기여하는 것으로 나타났으며, 복잡한 앙상블 모델(예: 랜덤 포레스트, XGBoost)은 불균형 기법 없이도 높은 AUC와 F-score를 기록할 수 있어, 모델의 해석 가능성에 대한 요구가 크지 않은 경우에 더 바람직하다고 판단된다.

ABSTRACT

Imbalanced data set is a problem often found and well-studied in financial industry. In this paper, we reviewed and compared some popular methodologies handling data imbalance. We then applied the under-sampling/over-sampling methodologies to several modeling algorithms on UCI and Keel data sets. The performance was analyzed for class-imbalance methods, modeling algorithms and grid search criteria comparison.

연구 동기 및 목표

• 다양한 기계학습 알고리즘에 대한 일반적인 데이터 수준의 불균형 완화 기법의 효과를 평가하는 것.
• AUC와 F-score 측면에서 다양한 모델링 알고리즘이 클래스 불균형 기법과 어떻게 상호작용하는지 평가하는 것.
• 불균형 데이터에 대한 하이퍼파rameter 튜닝에서 그리드 서치 기준(ROC-AUC, F-score, 정확도)의 영향을 비교하는 것.
• 특정 불균형 기법(SMOTE, Near Miss, RUSBoost 등)이 데이터셋과 알고리즘 간에 일관되게 다른 기법보다 뛰어나게 성능을 발휘하는지 여부를 판단하는 것.
• 성능 및 해석 가능성 간의 트레이드오���을 고려한 불균형 기법과 모델링 알고리즘 간의 선택 가이드라인을 제공하는 것.

제안 방법

• 연구는 UCI 및 Keel의 15개 실세계 데이터셋(불균형 비율이 다양함)에 대해 네 가지 불균형 기법—SMOTE, RUSBoost, Easy Ensemble, Near Miss—를 적용한다.
• 여덟 가지 모델링 알고리즘—로지스틱 회귀, 선형 SVM, 결정트리(CART), K-최근접 이웃, 랜덤 포레스트, XGBoost, RUSBoost, Easy Ensemble—을 평가한다.
• 성능는 AUC와 F-score로 측정하며, 하이퍼파ram터는 ROC-AUC, F-score, 정확도를 기준으로 그리드 서치를 통해 튜닝한다.
• 평가에는 SMOTE(합성 오버샘플링), RUS(랜덤 언더샘플링), Easy Ensemble 및 RUSBoost와 같은 앙상블 기반 기법을 포함한 데이터 전처리 기법이 포함된다.
• 분석은 다양한 불균형 기법과 알고리즘 간의 모델 성능을 비교하며, AUC와 F-score에서의 일관성과 향상 정도에 중점을 둔다.
• 통제된 실험 설계를 통해 고정된 데이터 분할과 표준화된 평가 지표를 사용하여 기법과 알고리즘 간 신뢰성 있는 비교를 보장한다.

실험 결과

연구 질문

• RQ1 클래스 불균형 기법은 다양한 기계학습 알고리즘 간에 일관되게 모델 성능을 향상시키는가?
• RQ2 어떤 모델링 알고리즘이 SMOTE나 RUS와 같은 데이터 수준의 불균형 완화 기법에서 가장 큰 이점을 얻는가?
• RQ3 다른 그리드 서치 기준(ROC-AUC, F-score, 정확도)은 불균형 데이터에서 하이퍼파ram터 튜닝과 최종 모델 성능에 어떻게 영향을 미치는가?
• RQ4 다양한 불균형 기법(SMOTE 대비 Near Miss, RUSBoost 등) 간에 유의미한 성능 차이가 존재하는가?
• RQ5 랜덤 포레스트나 XGBoost와 같은 복잡한 앙상블 모델은 불균형 기법을 적용하지 않더라도 높은 성능을 낼 수 있는가?

주요 결과

• 클래스 불균형 기법은 로지스틱 회귀나 선형 SVM과 같은 단순 선형 모델의 AUC 향상에 크게 기여하지만, 복잡한 앙상블 모델에는 미미한 성능 향상만을 제공한다.
• 랜덤 포레스트나 XGBoost와 같은 앙상블 모델은 원본 불균형 데이터에서도 높은 AUC와 F-score를 기록하여, 추가 전처리 없이도 클래스 불균형에 강건함을 보여준다.
• F-score 측면에서 앙상블 알고리즘이 불균형 전용 알고리즘과 단순 모델을 모두 압도하며, AUC 값은 유사하나 RUSBoost와 Easy Ensemble보다 약간의 우위를 보인다.
• 복잡한 모델에서는 그리드 서치 기준(AUC, F-score, 정확도)의 선택이 최종 성능에 미치는 영향이 미미하지만, K-최근접 이웃이나 CART와 같은 단순 모델에서는 영향이 더 크다.
• 어느 특정 불균형 기법이 다른 기법보다 뚜렷하게 뛰어나다는 강력한 증거는 없으며, SMOTE, RUSBoost, Easy Ensemble, Near Miss는 데이터셋과 알고리즘 간에 유사한 성능를 보인다.
• K-최근접 이웃이나 CART와 같은 단순 비선형 모델에 불균형 기법을 적용할 경우 과적합이 발생하고 성능 향상이 일관되지 않으며, 특히 F-score 기준으로 튜닝할 경우 더욱 두드러진다.