[논문 리뷰] Combining Varied Learners for Binary Classification using Stacked Generalization

Sruthi Nair, Abhishek Gupta외 2명|arXiv (Cornell University)|2022. 02. 17.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 다변량 이원분류 성능을 햖스다이멘셔널, 카디널 데이터셋인 다낭성 난소 증후군(PCOS)에서 향상하기 위해 스태킹(스택드 제너럴라이제이션)을 제안한다. 로지스틱 회귀, 서포트 벡터 머신(SVM), 다층 퍼셉트론(MLP), 랜덤 포레스트, K-최근접 이웃(KNN) 등의 다양한 기저 학습기들을 메타-학습기에 통합함으로써 일반화 오차를 크게 감소시키고, F2-스코어(83.73%) 및 헤밍 손실(12.72%)를 포함한 여러 지표에서 개별 모델을 뛰어넘는 성능을 보였다.

ABSTRACT

The Machine Learning has various learning algorithms that are better in some or the other aspect when compared with each other but a common error that all algorithms will suffer from is training data with very high dimensional feature set. This usually ends up algorithms into generalization error that deplete the performance. This can be solved using an Ensemble Learning method known as Stacking commonly termed as Stacked Generalization. In this paper we perform binary classification using Stacked Generalization on high dimensional Polycystic Ovary Syndrome dataset and prove the point that model becomes generalized and metrics improve significantly. The various metrics are given in this paper that also point out a subtle transgression found with Receiver Operating Characteristic Curve that was proved to be incorrect.

연구 동기 및 목표

• 고차원적이고 카디널 특징 집합을 갖는 기계학습 모델의 일반화 오차를 해결하기 위해.
• 다낭성 난소 증후군(PCOS) 데이터셋에서 스태킹 일반화의 효과를 평가하기 위해.
• ROC-AUC가 유일한 성능 지표로 사용될 경우의 문제를 드러내기 위해, F-메이저와 기타 지표와의 괴리 현상을 입증하기 위해.
• ROC-AUC가 높은 모델이라도 다른 지표에서는 성능이 열 劣할 수 있음을 보여주기 위해.
• Fβ, 헤밍 손실, 재현율 지수 등 다양한 지표를 통한 종합적 평가를 통해 모델의 견고성을 검증하기 위해.

제안 방법

• 로지스틱 회귀, SVM, MLP, 랜덤 포레스트, K-최근접 이웃을 기반으로 한 다섯 개의 기저 모델을 훈련하여 스태킹 일반화를 구현하였다.
• 기저 모델의 예측 결과를 입력 특징으로 사용하여 메타-학습기(로지스틱 회귀)를 통해 최종 앙상블 예측을 생성하였다.
• 카디널 특징에 대해 원핫 인코딩과 레이블 인코딩을 적용하였으며, 차원 축소를 위해 특징 선택 기법을 사용하였다.
• 로지스틱 회귀에서 시그모이드(로짓) 함수를 적용하였다: $\sigma(Z) = \frac{1}{1+e^{-Z}}$, 여기서 $Z = \gamma_0 + \sum \gamma_i x_i$.
• SVM의 결정 경계를 $w^T x + b = 0$로 설정하였으며, 클래스를 분리하기 위해 마진 최대화 기법을 적용하였다.
• 여러 지표를 사용하여 모델 성능을 평가하였다: Fβ-스코어 ($\beta = 0.5, 1, 2$), 헤밍 손실, 재현율 지수.

실험 결과

연구 질문

• RQ1 스태킹 일반화가 고차원적, 카디널 이원분류 작업에서 일반화 오차를 효과적으로 줄일 수 있는가?
• RQ2 다양한 평가 지표에서 스태킹 일반화의 성능은 개별 모델과 비교해 어떻게 나타나는가?
• RQ3 이 맥락에서 ROC-AUC는 어느 정도 오해의 소지가 있으며, 그에 대한 증거는 무엇인가?
• RQ4 앙상블 접근법은 단독 모델 대비 F2-스코어, 헤밍 손실, 재현율 지수를 향상시키는가?
• RQ5 기타 지표가 더 나은 일반화를 시사하는 바에 비해 ROC-AUC가 더 높은 모델이라도 스태킹이 성능을 뛰어넘을 수 있는가?

주요 결과

• 스태킹 일반화가 가장 높은 F2-스코어(83.73%)를 기록하였으며, SVM 및 랜덤 포레스트(모두 82.22%)와 MLP(75.28%)를 뛰어넘었다.
• 스태킹 일반화의 헤밍 손실은 12.72%로 모든 모델 중에서 가장 낮아, 레이블 예측 정확도가 뛰어나다는 것을 시사한다.
• 스태킹 일반화의 재현율 지수는 77.41%로 모든 모델 중에서 가장 높아, 진짜 레이블과 예측 레이블 간의 겹침이 더 크다는 것을 확인하였다.
• SVM 및 랜덤 포레스트는 ROC-AUC가 더 높았지만, F2-스코어는 스태킹 일반화보다 낮았으며, 이는 ROC-AUC가 오해의 소지가 있음을 시사한다.
• 스태킹 모델은 모든 지표에서 뛰어난 일반화 성능을 보였으며, 이는 고차원 데이터에서 과적합을 줄이는 데 앙상블 스태킹이 효과적이라는 것을 입증한다.
• 연구 결과, AUC-ROC에만 의존할 경우 모델 성능에 대한 잘못된 결론을 이끌 수 있음을 드러내었으며, 다중 지표 평가의 필요성을 강조한다.