[논문 리뷰] Smart Data based Ensemble for Imbalanced Big Data Classification

Diego García‐Gil, Johan Holmberg외 3명|arXiv (Cornell University)|2020. 01. 16.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 데이터 전처리와 앙상블 학습을 융합하여 소수 클래스 성능을 향상시키는 스마트 데이터 기반의 앙상블 방법을 제안한다. 21개의 대규모 데이터셋에서 평가한 결과, 데이터 균형 기법과 결합했을 때 기존 모델인 랜덤 포레스트보다 우수한 성능을 보였다.

ABSTRACT

Big Data scenarios pose a new challenge to traditional data mining algorithms, since they are not prepared to work with such amount of data. Smart Data refers to data of enough quality to improve the outcome from a data mining algorithm. Existing data mining algorithms unability to handle Big Datasets prevents the transition from Big to Smart Data. Automation in data acquisition that characterizes Big Data also brings some problems, such as differences in data size per class. This will lead classifiers to lean towards the most represented classes. This problem is known as imbalanced data distribution, where one class is underrepresented in the dataset. Ensembles of classifiers are machine learning methods that improve the performance of a single base classifier by the combination of several of them. Ensembles are not exempt from the imbalanced classification problem. To deal with this issue, the ensemble method have to be designed specifically. In this paper, a data preprocessing ensemble for imbalanced Big Data classification is presented, with focus on two-class problems. Experiments carried out in 21 Big Datasets have proved that our ensemble classifier outperforms classic machine learning models with an added data balancing method, such as Random Forests.

연구 동기 및 목표

• 소수 클래스가 부족하게 나타나는 대규모 데이터에서의 불균형 클래스 분포 문제를 해결한다. 이 경우 기존 분류기는 대부분의 클래스를 선호하는 경향이 있다.
• 대규모 불균형 데이터셋을 다룰 때 기존 데이터 마이닝 알고리즘의 한계를 극복하기 위해 스마트 데이터 원칙과 앙상블 학습을 통합한다.
• 데이터 전처리와 분류기 앙상블을 융합하여 이원 분류 불균형 대규모 데이터 문제에서 성능을 향상시키는 전용 앙상블 프레임워크를 설계한다.
• 제안된 방법이 데이터 균형 기법과 결합되었을 때 고전적 모델 대비 뛰어난 분류 성능을 달성함을 입증한다.

제안 방법

• 앙상블 학습 이전에 리샘플링 기법을 적용하여 대규모 데이터에서의 클래스 불균형 문제를 특별히 타겟으로 삼는 데이터 전처리 앙상블을 제안한다.
• 다양한 기본 분류기를 통합하여 일반화 및 강인성을 향상시키며, 특히 소수 클래스에 대해 유리하게 작용한다.
• 스마트 데이터 원칙을 활용해 데이터 품질과 관련성을 확보함으로써 대규모 데이터셋에서 앙상블의 효과를 향상시킨다.
• 예를 들어 소수 클래스의 오버샘플링, 대부분 클래스의 언더샘플링 등의 리샘플링 전략을 앙상블 학습과 결합하여 클래스 분포를 균형 잡는다.
• 다양한 기본 분류기의 예측을 통합하기 위해 메타-앙상블 학습을 적용하며, 불균형 문제를 해결하기 위해 F1 점수와 AUC를 최적화한다.
• 대규모 데이터 워크로드에 적합하고 확장 가능한 앙상블 파이프라인을 설계하여 자동 데이터 확보 시스템과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 기계 학습 모델 대비 데이터 전처리 앙상블이 불균형 대규모 데이터에서 분류 성능을 향상시킬 수 있는가?
• RQ2 스마트 데이터 원칙의 통합이 대규모 데이터 환경에서 앙상블 방법의 효과를 어떻게 향상시키는가?
• RQ3 데이터 균형 기법과 결합했을 때 제안된 앙상블 방법이 랜덤 포레스트와 같은 전통적 모델보다 얼마나 뛰어난가?
• RQ4 제안된 방법은 다양한 대규모 데이터셋, 특히 불균형 정도가 다른 데이터셋에서 안정성과 확장성 면에서 우수한가?

주요 결과

• 제안된 앙상블 분류기는 데이터 균형 기법과 결합되었을 때 고전적 기계 학습 모델(예: 랜덤 포레스트)보다 뛰어난 성능을 보였다.
• 21개의 다양한 대규모 데이터셋에서 앙상블 방법은 F1 점수와 AUC에서 일관된 향상을 보였으며, 특히 소수 클래스에서 두드러졌다.
• 스마트 데이터 전처리의 통합은 데이터 품질과 표현의 향상으로 인해 분류기 성능을 크게 향상시켰다.
• 이 방법은 대부분 클래스에 대한 편향을 효과적으로 완화하여 부족하게 나타나는 범주에서의 잘못된 분류 위험을 줄였다.
• 실제 대규모 데이터 환경에서 고용량의 불균형 데이터셋을 다룰 때 앙상블 프레임워크는 확장 가능하고 효과적이었다.
• 결과적으로 전용 앙상블 설계가 불균형 대규모 데이터를 다루는 데 필수적임을 확인하였으며, 표준 앙상블 역시 여전히 클래스 불균형 문제를 악영향을 받는다.