[논문 리뷰] CGMOS: Certainty Guided Minority OverSampling

Xi Zhang, Di Ma외 3명|arXiv (Cornell University)|2016. 07. 21.

Imbalanced Data Classification Techniques참고 문헌 25인용 수 7

한 줄 요약

CGMOS는 소수 클래스와 다수 클래스 양측의 분류 확실성을 최적화하여 소수 클래스의 합성 샘플을 생성하는 새로운 SMOTE 기반 오버샘플링 방법이다. 이는 이론적으로 SMOTE를 초월하는 성능 향상을 보장한다. 6개의 분류기로 구성된 30개의 실세계 데이터셋에서 뛰어난 성능을 기록하며, SMOTE 대비 평균 AUC에서 2%의 우수성을 보이며 통계적으로 유의미한 향상을 이룬다.

ABSTRACT

Handling imbalanced datasets is a challenging problem that if not treated correctly results in reduced classification performance. Imbalanced datasets are commonly handled using minority oversampling, whereas the SMOTE algorithm is a successful oversampling algorithm with numerous extensions. SMOTE extensions do not have a theoretical guarantee during training to work better than SMOTE and in many instances their performance is data dependent. In this paper we propose a novel extension to the SMOTE algorithm with a theoretical guarantee for improved classification performance. The proposed approach considers the classification performance of both the majority and minority classes. In the proposed approach CGMOS (Certainty Guided Minority OverSampling) new data points are added by considering certainty changes in the dataset. The paper provides a proof that the proposed algorithm is guaranteed to work better than SMOTE for training data. Further experimental results on 30 real-world datasets show that CGMOS works better than existing algorithms when using 6 different classifiers.

연구 동기 및 목표

• 기존 SMOTE 확장 기법들이 이론적 보장을 갖추지 못하고 다수 클래스 성능을 떨어뜨릴 수 있는 한계를 해결하기 위해.
• 소수 클래스와 다수 클래스 양측의 분류 확실성을 체계적으로 향상시키는 데이터 오버샘플링 전략을 개발하기 위해.
• 학습 과정에서 SMOTE보다 우수한 성능을 보장하는 이론적으로 탄탄한 방법을 제공하기 위해.
• 확실성 변화를 기반으로 합성 샘플 생성을 이끌어내어 소수 클래스 학습의 과적합과 노이즈 민감도를 줄이기 위해.
• 다양한 실세계 데이터셋과 분류기에서 제안된 방법의 강인성과 통계적 유의성을 평가하기 위해.

제안 방법

• CGMOS는 베이지안 분류 프레임워크를 사용하여 다수 클래스와 소수 클래스 양측의 확실성 점수를 계산한다.
• 두 클래스의 확실성을 동시에 향상시킬 수 있는 영역을 식별하여 새로운 합성 샘플을 생성한다.
• 합성 샘플을 생성할 위치와 방법을 결정하기 위해 확실성 기반 최적화 문제를 수립한다.
• SMOTE가 근접한 이웃을 무작위로 보간하는 데 반해, CGMOS는 양측의 공동 확실성 향상을 극대화하는 데이터 포인트를 대상으로 한다.
• 학습 과정과 독립된 단일 단계로 작동하며, 반복적 부스팅이나 앙상블 방법에 의존하지 않는다.
• 확실성 계산에서 유도된 확률 분포를 활용하여 샘플링 과정을 이끌어내어 체계적이고 성능 중심의 데이터 합성 보장을 한다.

실험 결과

연구 질문

• RQ1 이론적 보장을 갖춘 소수 클래스 오버샘플링 방법을 설계하여 SMOTE의 분류 성능를 뛰어넘을 수 있는가?
• RQ2 다수 클래스와 소수 클래스 양측의 확실성을 동시에 최적화하면 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ3 확실성 기반 합성 샘플 생성 방식은 무작위 또는 경계 기반 샘플링 대비 AUC와 강인성 측면에서 어떻게 비교되는가?
• RQ4 합성 샘플 수가 증가함에 따라 CGMOS는 성능을 유지하거나 향상시키는가?
• RQ5 CGMOS의 성능 향상은 다양한 데이터셋과 분류기에서 통계적으로 유의미한가?

주요 결과

• CGMOS는 30개의 실세계 데이터셋에서 SMOTE 대비 평균 AUC가 2% 높으며, SMOTE는 두 번째로 높은 순위를 기록한다.
• 모든 6개의 테스트 분류기에서 SMOTE, Borderline-SMOTE, Adasyn, MWMOTE를 포함한 모든 베이스라인보다 일관되게 뛰어난 성능을 기록한다.
• CGMOS는 강인성이 뛰어나 합성 샘플 수가 0.5δ에서 5δ로 증가함에 따라 성능이 안정적으로 유지되며 다른 방법들보다 항상 뛰어나다.
• b-kde 분류기의 경우 CGMOS가 가장 큰 성능 향상을 기록하여, b-kde를 사용한 확실성 계산과의 설계 일치성을 확인한다.
• 윌코크슨 부호 순위 검정을 통한 통계적 유의성 검정 결과, 모든 p-값이 0.05 이하로 나타나 CGMOS의 우수성이 통계적으로 유의미하다고 확인된다.
• ROC 곡선 분석에서 CGMOS는 모든 위양성 비율 수준에서 가장 높은 진양성 비율을 유지하여 일관된 우수성을 입증한다.