[논문 리뷰] MixBoost: Synthetic Oversampling with Boosted Mixup for Handling Extreme Imbalance

Anubha Kabra, Ayush Chopra외 5명|arXiv (Cornell University)|2020. 09. 03.

Imbalanced Data Classification Techniques참고 문헌 24인용 수 5

한 줄 요약

MixBoost는 엔트로피 가중 샘플링 기반의 부스팅 선택 메커니즘을 사용하여 소수 클래스와 다수 클래스 샘플을 지능적으로 혼합함으로써 합성 하이브리드 인스턴스를 생성하는 새로운 데이터 증강 방법이다. 극도로 불균형한 클래스 분포를 가진 20개의 벤치마크 데이터셋에서 최신 기법들을 능가하며, 반복적이고 모델 유도적인 증강을 통해 저자료 환경에서 분류기의 일반화 성능을 향상시킨다.

ABSTRACT

Training a classification model on a dataset where the instances of one class outnumber those of the other class is a challenging problem. Such imbalanced datasets are standard in real-world situations such as fraud detection, medical diagnosis, and computational advertising. We propose an iterative data augmentation method, MixBoost, which intelligently selects (Boost) and then combines (Mix) instances from the majority and minority classes to generate synthetic hybrid instances that have characteristics of both classes. We evaluate MixBoost on 20 benchmark datasets, show that it outperforms existing approaches, and test its efficacy through significance testing. We also present ablation studies to analyze the impact of the different components of MixBoost.

연구 동기 및 목표

• 소수 클래스 인스턴스가 희소한 극도로 불균형한 데이터셋에서 강력한 분류기를 훈련시키는 데 도전하는 것.
• 소수 클래스의 볼록 Hull 내에 국한된 동일한 특성을 가진 합성 인스턴스를 생성하는 기존 오버샘플링 기법의 한계를 극복하는 것.
• 현재 모델이 성능을 낮게 내는 입력 공간의 영역에서 분류기 성능을 향상시키는 것.
• 반복적이고 모델 유도적인 샘플링을 통해 소수 및 다수 클래스 데이터를 상호보완적으로 활용하는 데이터 증강 전략을 개발하는 것.
• 하이브리드 인스턴스 생성의 효과성을 타당성 연구와 통계적 유의성 검정을 통해 검증하는 것.

제안 방법

• MixBoost는 반복적인 두 단계 프로세스를 사용한다: 첫 번째 단계에서는 불확실성 영역을 우선시하기 위해 엔트로피 가중 저-고 샘플링 전략을 사용하여 후보 인스턴스를 선택한다.
• 두 번째 단계에서는 선택된 소수 클래스와 다수 클래스 인스턴스 사이를 선형 보간하여 하이브리드 합성 인스턴스를 생성함으로써 양 클래스의 특성을 모두 가진 샘플을 생성한다.
• 현재 분류기가 성능을 낮게 내는 영역에 집중하기 위해 동적 샘플링 전략을 적용하며, 이는 높은 예측 엔트로피로 나타난다.
• 모델 피드백을 데이터 생성 과정에 통합하여, 특성 공간에서 성능이 열악한 영역에서 가장 유익한 합성 인스턴스를 생성한다.
• 다중 라운드의 증강을 수행하여, 입력 공간 전반에 걸쳐 합성 데이터의 분포가 점차 향상된다.
• 특성 간의 구조적 관계를 유지하면서도, 두 클래스의 특징을 결합하는 수정된 믹스업 유사 보간 기법을 사용한다.

실험 결과

연구 질문

• RQ1 소수 및 다수 클래스 인스턴스를 조합하는 반복적이고 모델 유도적인 데이터 증강이 극도로 불균형한 데이터셋에서 성능 향상에 기여하는가?
• RQ2 동일한 소수 클래스 샘플이 아닌 하이브리드 합성 인스턴스를 생성하는 것이 저자료 환경에서의 일반화 성능 향상에 기여하는가?
• RQ3 엔트로피 가중 선택 메커니즘이 모델 불확실성 영역에서 합성 인스턴스의 품질과 분포에 어떤 영향을 미치는가?
• RQ4 다양한 벤치마크 데이터셋에서 기존 최신 오버샘플링 기법(SMOTE, ADASYN, SWIM 등)에 비해 MixBoost가 얼마나 뛰어난 성능을 보이는가?
• RQ5 소수 클래스 인스턴스의 수를 변화시켰을 때, 합성 데이터의 품질과 후속 분류기 성능에 어떤 영향을 미치는가?

주요 결과

• MixBoost는 극도로 불균형한 클래스 분포를 가진 20개의 벤치마크 데이터셋에서 기존 최신 기법들을 뛰어넘는 성능을 보이며, g-mean 점수로 측정된 바 있다.
• 모든 테스트된 데이터셋에서 높은 분류기 성능를 달성하였으며, 특히 소수 클래스 표현이 최소인 저자료 환경에서 두드러진 성능 향상을 보였다.
• 타당성 연구 결과, 부스팅된 선택(엔트로피 가중 샘플링)과 믹스업 기반 하이브리드 생성이 성능 향상에 필수적인 구성 요소임을 확인하였다.
• MixBoost 과정에 사용된 소수 클래스 인스턴스 수가 증가할수록 분류기 성능이 단조롭게 향상되며, 이는 확장성과 강건성을 시사한다.
• MixBoost가 생성한 합성 인스턴스는 모델 불확실성 영역에서 더 효과적이며, 입력 공간의 저정확도 영역에서의 성능 향상으로 이를 입증하였다.
• 유의성 검정 결과, 다양한 런과 데이터셋에서 성능 향상이 통계적으로 유의미하다는 것이 확인되었다.