[논문 리뷰] Efficient Hybrid Oversampling and Intelligent Undersampling for Imbalanced Big Data Classification

Carla Vairetti, José Luis Assadi외 1명|arXiv (Cornell University)|2023. 10. 09.

Imbalanced Data Classification TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 지능형 언더샘플링(ENN)과 오버샘플링(SMOTE)을 하나의 MapReduce 프로세스에서 결합한 새로운 하이브리드 리샘플링 방법인 SMOTENN을 제안한다. 이는 비균형적인 대용량 데이터에서 처리 효율성과 성능을 크게 향상시킨다. 독립적인 SMOTE와 ENN에 비해 최대 72.9%의 실행 시간 감소를 달성하였으며, 소형, 중형, 대형 데이터셋에서 기준 방법 대비 g-mean 성능을 뛰어나게 하였고, 경계 영역의 노이즈를 효과적으로 감소시켰다.

ABSTRACT

Imbalanced classification is a well-known challenge faced by many real-world applications. This issue occurs when the distribution of the target variable is skewed, leading to a prediction bias toward the majority class. With the arrival of the Big Data era, there is a pressing need for efficient solutions to solve this problem. In this work, we present a novel resampling method called SMOTENN that combines intelligent undersampling and oversampling using a MapReduce framework. Both procedures are performed on the same pass over the data, conferring efficiency to the technique. The SMOTENN method is complemented with an efficient implementation of the neighborhoods related to the minority samples. Our experimental results show the virtues of this approach, outperforming alternative resampling techniques for small- and medium-sized datasets while achieving positive results on large datasets with reduced running times.

연구 동기 및 목표

• 대규모 머신러닝 데이터셋에서의 클래스 불균형 문제를 해결하기 위해, 기존 리샘플링 방법이 계산적으로 비현실적이 되는 상황을 다루기 위해.
• 첫 번째로, 대용량 데이터에서 SMOTE와 ENN을 단일 프로세스에서 결합한 하이브리드 언더샘플링-오버샘플링 방법을 제안하여 문헌의 격차를 메우기 위해.
• 스케일러블한 MapReduce 프레임워크를 활용해 이웃 계산, 합성 샘플 생성, 다수 클래스 샘플 제거를 동시에 수행함으로써 계산 효율성을 향상시키기 위해.
• 특히 실행 시간과 모델 성능 측면에서 오버샘플링과 언더샘플링 간의 상호 상충 관계를 실증적으로 평가하기 위해.
• 다양한 데이터셋 크기와 불균형 비율에서 높은 성능을 유지할 수 있도록, 고도로 구성 가능한 표준 설정을 제공하기 위해.

제안 방법

• SMOTENN는 소수 클래스 인스턴스 각각에 대해 단일 k-이웃 영역을 정의함으로써, 데이터를 한 번의 통과 동안 ENN과 SMOTE를 동시에 적용할 수 있도록 한다.
• 소수 클래스 샘플 각각에 대해 k개의 가장 가까운 이웃을 식별하고, 이웃 내에서 다수 클래스 인스턴스가 지배당하는 경우 ENN를 적용하여 제거한다.
• 동시에, SMOTE의 표준 보간 공식을 사용하여 소수 클래스 인스턴스와 그 k개의 가장 가까운 이웃 간의 선형 보간을 통해 합성 소수 클래스 샘플을 생성한다.
• 전체 프로세스는 MapReduce 프레임워크를 통해 병렬화되며, 확장 가능한 분산 거리 함수를 통해 거리 계산을 최적화한다.
• 추가로, SMOTENN 처리 이전에 데이터 볼륨을 줄이기 위해 랜덤 언더샘플링(RUS)을 사전 처리 단계로 통합하여 성능을 향상시킨다.
• 구현은 Amazon EC2에서 Spark 2.4.8를 사용하여 m5.xlarge 및 c5.5xlarge 인스턴스를 활용하여 대규모 데이터셋에 대한 높은 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 대용량 데이터에서 효율적으로 작동하는 하이브리드 리샘플링 방법을 설계할 수 있는가? 이는 지능형 언더샘플링과 오버샘플링을 하나의 프로세스에서 동시에 수행한다.
• RQ2 SMOTENN의 계산 효율성은 데이터셋 크기가 증가함에 따라 독립적인 SMOTE와 ENN 실행에 비해 어떻게 비교되는가?
• RQ3 제안된 하이브리드 방법은 비균형 대용량 데이터에서 단독으로 사용된 SMOTE, ENN, RUS 또는 그 조합보다 더 높은 분류 성능(측정 기준: g-mean)을 달성하는가?
• RQ4 기타 리샘플링 기법에 비해 SMOTENN는 경계 영역의 노이즈를 얼마나 효과적으로 감소시키는가?
• RQ5 다양한 데이터셋에서 높은 성능을 일관되게 유지할 수 있는 표준 설정이 존재하는가? 특히 철저한 하이퍼파rameter 튜닝 없이도.

주요 결과

• SMOTENN는 독립적인 SMOTE와 ENN의 총 실행 시간 대비 평균 38.8%의 실행 시간을 기록하였으며, 최고의 경우 20.4%, 최악의 경우 72.9%의 효율성을 보였다.
• 가장 큰 데이터셋(large dataset 5, lds5)에서 SMOTENN는 551.8초에 실행되었으며, ENN 단독 실행(339.3초)보다 17배 빠르고, ENN+SMOTE 조합(757.1초)보다도 뚜렷이 빠르게 작동하였다.
• 소형 및 중형 데이터셋에서 SMOTENN는 g-mean 측면에서 모든 기준 방법을 앞서는 분류 성능을 보였다.
• 다양한 불균형 비율과 특성 수에 걸쳐도 안정적인 성능을 유지하였으며, 철저한 하이퍼파rameter 튜닝이 필요로 하지 않았다.
• 효율성은 높지만, RUS는 모든 데이터셋에서 4초 이내로 가장 빠른 것으로 나타나, 속도와 노이즈 감소 사이의 상충 관계를 보여주었다.
• 결과적으로, 합성 오버샘플링은 소형 데이터셋에서는 유용하지만, 매우 큰 데이터셋(예: 수백만 개의 샘플)에서는 그 가치가 감소하며, 이 경우 RUS만으로도 충분할 수 있음을 시사한다.