[논문 리뷰] A Method for Handling Multi-class Imbalanced Data by Geometry based Information Sampling and Class Prioritized Synthetic Data Generation (GICaPS)

Anima Majumder, Samrat Dutta외 2명|arXiv (Cornell University)|2020. 10. 11.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 기하 기반 언더샘플링과 클래스 우선 과잉샘플링을 조합한 새로운 데이터 처리 프레임워크인 GICaPS를 제안한다. 각도 제약을 활용해 중복되는 다수 클래스 샘플을 제거하고, 클래스 경계를 존중하기 위해 낮은 겹침 영역에서 합성 데이터를 생성함으로써, Shuttle 데이터셋에서 평균 정확도 99.39%를 달성하며 SMOTE와 ADASYN을 포함한 10개의 불균형 데이터셋에서 뚜렷한 승리를 거두었다.

ABSTRACT

This paper looks into the problem of handling imbalanced data in a multi-label classification problem. The problem is solved by proposing two novel methods that primarily exploit the geometric relationship between the feature vectors. The first one is an undersampling algorithm that uses angle between feature vectors to select more informative samples while rejecting the less informative ones. A suitable criterion is proposed to define the informativeness of a given sample. The second one is an oversampling algorithm that uses a generative algorithm to create new synthetic data that respects all class boundaries. This is achieved by finding \\emph{no man's land} based on Euclidean distance between the feature vectors. The efficacy of the proposed methods is analyzed by solving a generic multi-class recognition problem based on mixture of Gaussians. The superiority of the proposed algorithms is established through comparison with other state-of-the-art methods, including SMOTE and ADASYN, over ten different publicly available datasets exhibiting high-to-extreme data imbalance. These two methods are combined into a single data processing framework and is labeled as ``GICaPS'' to highlight the role of geometry-based information (GI) sampling and Class-Prioritized Synthesis (CaPS) in dealing with multi-class data imbalance problem, thereby making a novel contribution in this field.

연구 동기 및 목표

• 사기 탐지 및 의료 진단과 같은 실세계 응용 분야에서 소수 클래스가 중요하지만 희귀한 경우의 다중 클래스 불균형 문제를 해결하기 위해.
• SMOTE와 ADASYN과 같은 기존 샘플링 방법의 한계를 극복하기 위해, 이는 종종 노이즈가 많은 샘플을 생성하거나 고겹침, 고불균형 상황에서 실패하기 때문이다.
• 기하 원리를 활용해 언더샘플링과 오버샘플링을 통합한 단일 프레임워크를 개발하여 유의미한 샘플을 유지하고 클래스 경계를 존중하기 위해.
• 비용이 많이 들거나 앙상블 기법에 의존하지 않고도 극단적인 클래스 불균형(예: 10,000:1) 상황에서도 분류기 성능을 향상시킬 수 있는 이론적으로 탄탄하고 구현 가능한 방법을 제공하기 위해.
• 다양하고 공개된 데이터셋을 대상으로 검증하여 고불균형에서부터 극단적 불균형까지의 다양한 상황에서 최신 기술에 비해 일관된 슈퍼리오리티를 입증하기 위해.

제안 방법

• 언더샘플링 방법은 특성 벡터 간의 각도를 사용해 중복되는 다수 클래스 샘플을 식별하고 제거하며, 서로 다른 정사각형에 위치한 샘플은 유지하여 클래스 분리성을 유지한다.
• 다수 클래스 중심점에서의 각도 편차를 기반으로 한 기하 기준은 샘플의 정보성과 관련하여, 정보가 적은 샘플만 제거됨을 보장한다.
• 오버샘플링 방법은 클래스 간 밀도가 낮은 영역에서 소수 클래스 샘플을 합성 생성하며, 유클리드 거리 기반의 경계 탐지 기법을 사용해 클래스 간 '누구도 없는 땅' 영역을 피한다.
• 프레임워크는 소수 클래스 경계 근처에 집중하여 샘플을 생성하는 클래스 우선 합성 전략을 채택하여 일반화 성능 향상과 겹침 감소를 도모한다.
• 수학적 수식은 언더샘플링을 위한 각도 제약과 오버샘플링을 위한 거리 기반 '누구도 없는 땅' 탐지 기준을 정의하여 이론적 기반을 제공한다.
• 모든 알고리즘에 대한 의사코드가 제공되어 재현 가능하고 기존 머신러닝 파ip라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 특성 벡터 간의 기하적 관계를 효과적으로 활용해 중복되는 다수 클래스 샘플을 식별하고 제거하면서도 정보가 많은 샘플은 유지할 수 있는가?
• RQ2 클래스 간 경계 인식을 기반으로 합성 데이터 생성을 유도하면 겹치는 영역에서 모호하거나 노이즈가 많은 샘플을 생성하는 것을 방지할 수 있는가?
• RQ3 기하 기반 언더샘플링과 클래스 우선 오버샘플링을 조합함으로써 다양한 고불균형 다중 클래스 데이터셋에서 일관된 성능 향상을 달성할 수 있는가?
• RQ4 실세계 불균형 데이터셋에서 GICaPS 프레임워크가 SMOTE, ADASYN 및 기타 최신 기법 대비 정확도, F-측정치, G-mean 측면에서 어떻게 비교되는가?
• RQ5 비용 감수성 학습이나 앙상블 기법에 의존하지 않고도 극단적 클래스 불균형 비율(예: 10,000:1 초과)에서도 높은 성능을 유지할 수 있는가?

주요 결과

• Shuttle 데이터셋에서 GICaPS는 99.39%의 전체 정확도를 기록했으며, 이는 SMOTE(96.59%)와 ADASYN(56.27%)보다 뚜렷한 승리를 거둔 것으로, 극단적 불균형 상황에서도 뛰어난 성능을 보였다.
• Abalone 데이터셋에서 GICaPS-O(오버샘플링 전용)는 정밀도 96.80%와 F-측정치 96.32%를 기록했으며, SMOTE(75.71% F-측정치)와 ADASYN(33.5% F-측정치)를 모두 능가했다.
• Pima Indian Diabetes 데이터셋에서 GICaPS-O는 전체 정확도 84.15%를 달성해 SMOTE(76.40%)와 ADASYN(75.45%)를 초월했으며, F-측정치와 G-mean에서도 일관된 향상을 보였다.
• Pain 데이터셋에서 GICaPS는 전체 정확도 98.80%와 F-측정치 98.79%를 기록했으며, SMOTE(90.33%)와 ADASYN(17.45% F-측정치)를 크게 앞서며 소수 클래스의 재현율 측면에서 두각을 나타냈다.
• 모든 평가 지표에서 SIMO, WSIMO, SWIM, MOCAS (NN)를 일관되게 능가했으며, Glass(96.7)와 Ionosphere(89.43) 데이터셋에서 G-mean가 가장 높았다.
• 표 VII의 통계적 비교 결과, GICaPS는 모든 기준 방법보다 통계적으로 뛰어나며, 10개의 벤치마크 데이터셋에서 OA, F-측정치, G-mean의 평균 성능이 가장 높았다.