[논문 리뷰] Superensemble Classifier for Improving Predictions in Imbalanced Datasets

Tanujit Chakraborty, Ashis Kumar Chakraborty|arXiv (Cornell University)|2018. 10. 25.

Imbalanced Data Classification Techniques참고 문헌 39인용 수 10

한 줄 요약

이 논문은 데이터 샘플링 없이 불균형 데이터셋에서 예측 성능을 향상시키기 위해 헬링거 거리 의사결정트리(HDDT)와 반경기저함수 네트워크(RBFN)를 조합한 새로운 분포무관 초집합 분류기(superensemble classifier)를 제안한다. 이 방법은 HDDT의 클래스 불균형에 대한 강건성과 RBFN의 빠른 수렴성 및 보편적 일致성(universal consistency)을 활용하여 최소한의 하이퍼파rameter 튜닝으로도 최신 기술 수준의 성능을 달성하며, 다양한 실세계 데이터셋에서 해석 가능성도 향상시킨다.

ABSTRACT

Learning from an imbalanced dataset is a tricky proposition. Because these datasets are biased towards one class, most existing classifiers tend not to perform well on minority class examples. Conventional classifiers usually aim to optimize the overall accuracy without considering the relative distribution of each class. This article presents a superensemble classifier, to tackle and improve predictions in imbalanced classification problems, that maps Hellinger distance decision trees (HDDT) into radial basis function network (RBFN) framework. Regularity conditions for universal consistency and the idea of parameter optimization of the proposed model are provided. The proposed distribution-free model can be applied for feature selection cum imbalanced classification problems. We have also provided enough numerical evidence using various real-life data sets to assess the performance of the proposed model. Its effectiveness and competitiveness with respect to different state-of-the-art models are shown.

연구 동기 및 목표

• 기존 분류기들이 다수 클래스를 우선시함으로써 소수 클래스 성능이 떨어지는 불균형 데이터셋에서의 문제를 해결하기 위해.
• 데이터 샘플링을 피하는 분포무관의 앙상블 모델을 개발하여 원래 데이터 구조를 유지하고 계산 오버헤드를 줄이기 위해.
• HDDT의 클래스 기울기(클래스 불균형)에 대한 강건성과 RBFN의 빠른 수렴성 및 보편적 일치성을 결합하여 단일 해석 가능한 초집합 프레임워크를 만드는 것.
• 소형에서 중형의 불균형 데이터셋에서 특성 선택과 분류를 동시에 지원하는 방법을 제공하기 위해.
• 샘플링 기반 및 단일 분류기 접근 방식을 포함한 최신 모델들과 경쟁 가능한 성능을 입증하기 위해.

제안 방법

• 제안된 초집합 분류기는 훈련된 HDDT 모델을 RBFN 프레임워크로 매핑하여 하이브리드 모델을 구성한다. HDDT의 노드를 RBF 중심점으로 사용한다.
• HDDT에서 분할 기준으로 헬링거 거리를 사용하여 클래스 불균형에 강건하고 다수 클래스에 대한 편향을 줄인다.
• RBFN 구성요소는 가우시안 커널을 사용하는 반경기저함수를 활용하여 미약한 정규성 조건 하에서 빠른 훈련과 보편적 일치성을 보장한다.
• 분류 오차를 최소화하기 위해 RBF 폭과 가중치 등 모델 파라미터를 기울기 기반 또는 히우리스틱 방법으로 최적화한다.
• 다양한 HDDT-RBFN 매핑을 조합하여 앙상블 프레임워크가 다양성과 일반화 능력을 확보하고 과적합 및 분산을 줄인다.
• 모델는 설명 가능하도록 설계되어 있으며, RBFN 가중치와 HDDT 분할 규칙을 통해 특성 중요도를 도출한다.

실험 결과

연구 질문

• RQ1 클래스 분포를 수정하지 않고도 기존 분류기 및 샘플링 기반 방법보다 성능이 뛰어난 하이브리드 HDDT-RBFN 초집합 분류기가 불균형 데이터셋에서 성능을 높일 수 있는가?
• RQ2 제안된 초집합 모델은 클래스 불균형을 다룰 때 보편적 일치성을 어떻게 유지하는가?
• RQ3 SMOTE나 SMOTE+ENN와 같은 데이터 샘플링 기법의 필요성을 얼마나 줄일 수 있는가?
• RQ4 HDDT와 RBFN의 통합은 단독 모델 대비 일반화 능력 향상과 과적합 감소에 어떤 영향을 미치는가?
• RQ5 소형에서 중형의 불균형 데이터셋에서 제안된 모델이 특성 선택과 해석 가능성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 초집합 분류기는 8개 데이터셋 중 5개에서 가장 높은 AUC를 기록하여 단일 분류기 및 샘플링 기반 방법을 모두 능가했다.
• Pima Diabetes 데이터셋에서 SMOTE+ENN 전처리 후 AUC 0.748을 기록하여 k-NN 및 RF와 같은 기준 모델을 뛰어넘었다.
• Indian Business School 데이터셋에서는 SMOTE+ENN 전처리 후 AUC 0.914를 기록하여 RBFN(0.905)과 RF(0.875)를 뚜렷이 앞서며 성능을 끌어올렸다.
• 모델는 보편적 일치성을 입증했고, 최소한의 하이퍼파rameter 튜닝으로 실용적인 응용에 적합했다.
• Page Blocks와 같은 고차원 데이터셋에서도 뛰어난 성능을 보였으며, SMOTE+ENN 전처리 후 AUC 0.949를 기록하여 이론적 상한선에 매우 가까웠다.
• 모델는 높은 정확도와 해석 가능성을 유지하면서 복잡한 블랙박스 모델을 능가했고, 데이터 샘플링을 피하면서도 원래 데이터 구조를 그대로 유지했다.