[논문 리뷰] Geometric SMOTE: Effective oversampling for imbalanced learning through a geometric extension of SMOTE

Georgios Douzas, Fernando Bação|arXiv (Cornell University)|2017. 09. 21.

Imbalanced Data Classification Techniques참고 문헌 28인용 수 11

한 줄 요약

기하학적 SMOTE(G-SMOTE)는 각 少수 클래스 인스턴스 주변에 유연한 기하학적 영역—초기에는 초구체—를 정의하여 소수 클래스의 합성 샘플을 생성하는 새로운 오버샘플링 방법을 제안한다. 이는 SMOTE 방식과 유사하게 선분 방향으로 변형 가능하게 설계되어 있으며, 최소한의 하이퍼파라미터 튜닝으로도 높은 품질의 다양한 합성 데이터를 생성함으로써 불균형 데이터셋에서 분류기 성능을 크게 향상시킨다.

ABSTRACT

Classification of imbalanced datasets is a challenging task for standard algorithms. Although many methods exist to address this problem in different ways, generating artificial data for the minority class is a more general approach compared to algorithmic modifications. SMOTE algorithm and its variations generate synthetic samples along a line segment that joins minority class instances. In this paper we propose Geometric SMOTE (G-SMOTE) as a generalization of the SMOTE data generation mechanism. G-SMOTE generates synthetic samples in a geometric region of the input space, around each selected minority instance. While in the basic configuration this region is a hyper-sphere, G-SMOTE allows its deformation to a hyper-spheroid and finally to a line segment, emulating, in the last case, the SMOTE mechanism. The performance of G-SMOTE is compared against multiple standard oversampling algorithms. We present empirical results that show a significant improvement in the quality of the generated data when G-SMOTE is used as an oversampling algorithm.

연구 동기 및 목표

• 소수 클래스가 부족하여 분류기가 대부분 클래스를 선호하는 기계학습에서의 클래스 불균형 문제를 해결한다.
• SMOTE가 소수 클래스 인스턴스 간 선분을 따라 합성 샘플을 생성하는 데서 비롯되는 노이즈와 과적합 문제를 해결하고자 한다.
• 지역 데이터 기하학에 적응하는 더 유연한 데이터 생성 메커니즘을 개발하여 더 안전하고 품질 높은 합성 샘플을 생성한다.
• 다양한 실제 데이터셋에서의 평가를 통해 기존 오버샘플링 기법들에 비해 일관된 성능 향상을 입증한다.

제안 방법

• 소수 클래스 인스턴스 주변에 기하학적 영역(초기에는 초구체)을 정의하고, 안전 반경을 사용해 영역의 크기와 형태를 제어한다.
• 기하학적 영역을 초구체에서 선분으로 파arametric하게 변형할 수 있도록 허용하여, 필요에 따라 SMOTE 방식을 모방할 수 있도록 한다.
• 절단된 기하학적 영역 내에서 균일하게 합성 샘플을 생성함으로써 국소 데이터 구조를 유지하고 노이즈 영역을 피한다.
• 하나의 하이퍼파라미터를 통해 영역의 형태와 범위를 제어하여 다양한 데이터 분포와 불균형 비율에 적응할 수 있도록 한다.
• 모든 분류기 학습 이전의 전처리 단계로 통합하여 표준 학습 알고리즘과의 호환성을 유지한다.
• 거리 기반 선택 전략을 사용해 소수 클래스 인스턴스와 그 주변의 다수 또는 소수 클래스 점을 식별하여 영역 정의를 안내한다.

실험 결과

연구 질문

• RQ1 SMOTE의 선형 보간 방식에 비해 기하학적 확장된 G-SMOTE가 소수 클래스 합성 샘플의 품질을 향상시킬 수 있는가?
• RQ2 초구체에서 선분으로 기하학적 영역을 변형할 수 있는 능력이 G-SMOTE가 합성 데이터 생성에서 다양성과 안전성을 균형 있게 유지하는 데 기여하는가?
• RQ3 다양한 불균형 데이터셋에서 G-SMOTE가 SMOTE, Borderline SMOTE, ADASYN에 비해 분류 성능에서 뛰어나게 되는가?
• RQ4 기존 오버샘플링 기법들에 비해 더 적은 하이퍼파라미터로 G-SMOTE가 더 나은 성능을 달성할 수 있는가?
• RQ5 G-SMOTE의 기하학적 탄력성 덕분에 소수 클래스 샘플에 대한 일반화 능력 향상과 과적합 감소가 이루어지는가?

주요 결과

• G-SMOTE는 F1, G-mean, AUC 지표에서 13개의 다양한 데이터셋에서 SMOTE, Borderline SMOTE, ADASYN를 뛰어넘는 성능을 보였다.
• 모든 분류기와 지표에서 평균 순위가 가장 낮았으며, F1(1.15), G-mean(1.08), AUC(1.15)로, 뛰어난 성능을 나타냈다.
• Friedman 검정을 통해 성능 차이의 통계적 유의성(p < 0.05)이 확인되었고, 모든 방법이 동일하게 작동한다는 귀무가설은 기각되었다.
• Iris 데이터셋에서 G-SMOTE는 F1을 0.657(ADASYN 기준)에서 0.739로 향상시키고, G-mean도 0.739에서 0.739로 유지하여 극도로 불균형한 케이스에서도 일관된 성능 향상을 보였다.
• Vehicle 데이터셋에서는 G-mean 0.969를 기록하여 ADASYN(0.946)과 Borderline SMOTE2(0.915)를 압도하며 고차원 데이터에서의 강건성을 입증했다.
• 로지스틱 회귀와 기울기 부스팅 분류기 양쪽 모두에서 높은 성능를 유지하여 광범위한 적용 가능성과 안정성을 보였다.