[논문 리뷰] Imbalance-XGBoost: Leveraging Weighted and Focal Losses for Binary Label-Imbalanced Classification with XGBoost

Chen Wang, Chengyuan Deng외 1명|arXiv (Cornell University)|2019. 08. 05.

Imbalanced Data Classification Techniques인용 수 15

한 줄 요약

이 논문은 이진 레이블 불균형 분류 작업을 위해 가중치가 부여된 교차 엔트로피와 포칼 손실을 XGBoost에 통합한 Python 패키지인 Imbalance-XGBoost를 소개한다. 이러한 손실 함수의 일阶 및 이阶 도함수를 유도하고 구현하여, 특히 높은 불균형 비율에서 기존 XGBoost에 비해 F1 점수와 MCC를 크게 향상시키는 등 불균형 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

The paper presents Imbalance-XGBoost, a Python package that combines the powerful XGBoost software with weighted and focal losses to tackle binary label-imbalanced classification tasks. Though a small-scale program in terms of size, the package is, to the best of the authors' knowledge, the first of its kind which provides an integrated implementation for the two losses on XGBoost and brings a general-purpose extension on XGBoost for label-imbalanced scenarios. In this paper, the design and usage of the package are described with exemplar code listings, and its convenience to be integrated into Python-driven Machine Learning projects is illustrated. Furthermore, as the first- and second-order derivatives of the loss functions are essential for the implementations, the algebraic derivation is discussed and it can be deemed as a separate algorithmic contribution. The performances of the algorithms implemented in the package are empirically evaluated on Parkinson's disease classification data set, and multiple state-of-the-art performances have been observed. Given the scalable nature of XGBoost, the package has great potentials to be applied to real-life binary classification tasks, which are usually of large-scale and label-imbalanced.

연구 동기 및 목표

• 이중 레이블 불균형 분류 작업에서 XGBoost의 성능 저하 문제를 해결하기 위해.
• 분석적 도함수를 사용하여 XGBoost 프레임워크 내부에 가중치가 부여된 교차 엔트로피 및 포칼 손실 함수를 구현하기 위해.
• 실제 세계의 불균형 분류 문제에 일반적으로 적용 가능하고 확장 가능한 솔루션을 제공하기 위해.
• 여러 기준 데이터셋에서의 실험적 평가를 통해 제안된 손실 함수의 효과성을 입증하기 위해.
• Scikit-learn 및 XGBoost와 호환되는 경량이고 오픈소스의 Python 패키지를 배포하기 위해.

제안 방법

• 패키지는 유도된 일阶 및 이阶 도함수를 사용하는 맞춤형 손실 프레임워크를 통해 XGBoost에 가중치가 부여된 교차 엔트로피와 포칼 손실 함수를 통합한다.
• 이 방법은 소수 클래스의 오분류를 더 강하게 처벌하기 위해 XGBoost의 목적 함수에 클래스 가중치 또는 포칼 손실 항을 통합하여 수정한다.
• 두 손실 함수의 일阶 및 이阶 도함수에 대한 분석적 유도가 제공되어 기울기 부스팅 프레임워크 내에서 효율적인 최적화를 가능하게 한다.
• 구현은 XGBoost를 기반으로 하며, NumPy 및 Scikit-learn에 의존하여 호환성과 사용 편의성을 확보한다.
• 그리드 서치를 통한 하이퍼파ram터 튜닝을 지원하며, 대규모 데이터셋에서도 확장 가능한 설계가 되어 있다.
• 이 접근법은 불균형 비율이 점점 증가하는 네 개의 UCI 기준 데이터셋에서 5겹 교차 검증을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 XGBoost에 가중치가 부여된 손실 함수와 포칼 손실 함수를 통합하면 이진 레이블 불균형 분류 작업에서 성능 향상이 뚜렷하게 이루어지는가?
• RQ2 손실 함수의 유도된 일阶 및 이阶 도함수들이 XGBoost 프레임워크 내에서 효과적인 최적화를 어떻게 가능하게 하는가?
• RQ3 제안된 방법이 높은 불균형 비율의 데이터셋에서 기존 XGBoost에 비해 F1 점수와 매튜스 상관계수(MCC) 측면에서 뛰어난 성능을 보이는가?
• RQ4 다양한 기준 데이터셋에서 불균형 비율이 증가함에 따라 이 방법의 성능은 어떻게 변화하는가?
• RQ5 이 패키지는 대규모 불균형 데이터를 가진 실세계 응용 분야에서 효과적으로 사용될 수 있는가?

주요 결과

• 파킨슨병 데이터셋에서, 가중치가 부여된 XGBoost와 포칼 XGBoost 모두 기존 XGBoost보다 더 높은 AUC와 PR 곡선 면적을 기록하여 소수 클래스 탐지 능력 향상을 보였다.
• 9:1 불균형 비율을 가진 ecoli 데이터셋에서, 가중치가 부여된 XGBoost와 포칼 XGBoost는 F1 점수를 기존 XGBoost의 0.627에서 0.645로 향상시켰으며, MCC는 0.586에서 0.616으로 상승했다.
• 17:1 불균형 비율을 가진 arrhythmia 데이터셋에서, 가중치가 부여된 XGBoost는 F1 점수를 0.627에서 0.681로, MCC는 0.605에서 0.665로 향상시켰다.
• 42:1 불균형 비율을 가진 ozone 데이터셋에서, 가중치가 부여된 XGBoost는 F1 점수를 기존 XGBoost의 0.144에서 0.268로 향상시켰고, 포칼 XGBoost는 0.180으로 향상시켰다.
• 불균형 비율이 증가할수록 제안된 방법의 성능 향상이 더욱 두드러졌으며, 특히 F1 점수와 MCC 지표에서 두드러졌다.
• 이 패키지는 다섯 개의 모든 데이터셋에서 경쟁적인 성능을 보였으며, PyPI와 GitHub에 배포되어 실용성과 보급 잠재력이 높다는 것을 보여주었다.