[논문 리뷰] Clustering and Learning from Imbalanced Data

Naman Deep Singh, Abhinav Dhall|ArXiv.org|2018. 11. 02.

Imbalanced Data Classification Techniques참고 문헌 26인용 수 21

한 줄 요약

이 논문은 군집 중심과 샘플 간 거리를 기반으로 합성 少수 클래스 샘플을 생성하는 새로운 데이터 수준의 재샘플링 방법인 Clustering-Based Oversampling (CBOS)을 제안한다. 이는 과적합을 줄이고 다수 클래스 분포를 유지하는 데 기여한다. CBOS는 딥 네ural 네트워크 분류기에서 여러 지표에서 SMOTE, ADASYN, SMOTE-ENN을 능가하며, 특히 고차원 데이터에서 그 전략이 분포 인지 및 비침습적인 특성 덕분에 뛰어난 성능을 발휘한다.

ABSTRACT

A learning classifier must outperform a trivial solution, in case of imbalanced data, this condition usually does not hold true. To overcome this problem, we propose a novel data level resampling method - Clustering Based Oversampling for improved learning from class imbalanced datasets. The essential idea behind the proposed method is to use the distance between a minority class sample and its respective cluster centroid to infer the number of new sample points to be generated for that minority class sample. The proposed algorithm has very less dependence on the technique used for finding cluster centroids and does not effect the majority class learning in any way. It also improves learning from imbalanced data by incorporating the distribution structure of minority class samples in generation of new data samples. The newly generated minority class data is handled in a way as to prevent outlier production and overfitting. Implementation analysis on different datasets using deep neural networks as the learning classifier shows the effectiveness of this method as compared to other synthetic data resampling techniques across several evaluation metrics.

연구 동기 및 목표

• SMOTE와 ADASYN과 같은 기존의 합성 오버샘플링 기법이 자주 노이즈를 유발하거나 과적합되며 다수 클래스 분포에 간섭하는 등의 한계를 해결한다.
• 특히 고차원 또는 심한 클래스 불균형 상황에서 불균형 이진 분류 데이터셋에서의 학습 성능을 향상시킨다.
• 차원 수에 민감하지 않으며 다수 클래스 데이터의 기본 구조를 변화시키지 않는 재샘플링 방법을 개발한다.
• 소수 클래스 샘플의 내재된 분포 구조를 합성 샘플 생성에 통합하여 일반화 성능 향상과 이상치 생성 감소를 도모한다.
• 딥 네럴 네트워크를 학습 분류기로 사용하여 다양한 평가 지표에서 제안된 방법의 뛰어난 성능을 입증한다.

제안 방법

• 소수 클래스 샘플의 중심점을 식별하기 위해 군집화(예: k-means)를 사용하여 합성 샘플 생성의 기초를 마련한다.
• 각 소수 클래스 샘플이 자신의 군집 중심점으로부터 얼마나 떨어져 있는지 거리를 계산하여, 해당 샘플에 대해 생성할 합성 샘플의 수를 결정한다.
• 거리 값을 정규화하여 중심점에 가까운 샘플일수록 더 많은 생성 수를 할당함으로써 대표성 있는 점들을 강조한다.
• 제한된 랜덤 함수를 사용하여 소수 클래스 샘플을 변형함으로써 새로운 합성 샘플을 생성하여, 신규 점들이 타당한 데이터 경계 내에 유지되도록 보장한다.
• 거리 정규화 기법을 사용하여 소수 클래스 인스턴스당 생성할 합성 샘플 수를 제어함으로써 과적합과 이상치 위험을 줄인다.
• 오버샘플링 과정에서 다수 클래스 데이터와의 상호작용을 방지하여 원래의 분포를 유지하고 의도치 않은 데이터 공간 간섭을 피한다.

실험 결과

연구 질문

• RQ1 군집 기반 오버샘플링 방법은 다수 클래스 표현을 악화시키지 않고 불균형 데이터셋에서의 분류 성능을 향상시킬 수 있는가?
• RQ2 다양한 수준의 클래스 불균형에서 F1 점수, AUC, 재현율 등의 주요 지표에서 CBOS는 SMOTE, ADASYN, SMOTE-ENN과 비교해 어떻게 성능을 냈는가?
• RQ3 기존 방법들이 종종 실패하는 고차원 데이터에서, 제안된 방법은 안정성과 일반화 능력을 유지하는가?
• RQ4 기존의 합성 샘플링 기법에 비해 CBOS는 과적합과 이상치 생성을 어느 정도 감소시키는가?
• RQ5 이 방법은 k-means와 딥 네럴 네트워크 이외의 다양한 군집 알고리즘과 학습 모델에 일반화 가능한가?

주요 결과

• CBOS는 저차원 및 고차원 데이터셋 모두에서 F1, AUC, 재현율 등의 여러 평가 지표에서 SMOTE, ADASYN, SMOTE-ENN을 뚜렷이 능가한다.
• 심한 불균형 데이터셋(예: Data-4)에서는 다른 방법들이 재현율과 F1 점수의 감소를 보이는 반면, CBOS는 안정적인 성능을 유지한다.
• 다른 방법들과 달리 CBOS는 다수 클래스 분류에 부정적인 영향을 미치지 않으며, 다양한 데이터셋에서 다수 클래스의 재현율 점수가 안정적이거나 향상됨으로써 이를 입증한다.
• 고차원 환경(예: 높은 특성 대 샘플 비율을 가진 Data-5)에서는 기존 방법들이 성능이 저하되는 반면, CBOS는 SMOTE와 ADASYN 수준의 성능을 유지하여 뛰어난 확장성 잠재력을 보여준다.
• 제한된 랜덤 변형과 중심점 기반의 거리 정규화 샘플링을 통해 과적합과 이상치 생성을 효과적으로 방지한다.
• CBOS는 군집 알고리즘 선택에 대해 강건하며, 평균 이동 또는 가우시안 혼합 모델과 같은 다른 모델을 사용할 경우에도 기대하는 유사한 성능을 보인다.