[論文レビュー] Imbalance-XGBoost: Leveraging Weighted and Focal Losses for Binary Label-Imbalanced Classification with XGBoost

Chen Wang, Chengyuan Deng+1 more|arXiv (Cornell University)|Aug 5, 2019

Imbalanced Data Classification Techniques被引用数 15

ひとこと要約

本論文では、二値ラベル不均衡分類のための、重み付き交差エントロピーとフォーカル損失をXGBoostに統合したPythonパッケージであるImbalance-XGBoostを紹介する。これらの損失関数の一次および二次勾配を導出し実装することで、特に高比率の不均衡データセットにおいて、アンサンブル学習の性能が著しく向上し、F1スコアおよびMCCが元のXGBoostを上回る。

ABSTRACT

The paper presents Imbalance-XGBoost, a Python package that combines the powerful XGBoost software with weighted and focal losses to tackle binary label-imbalanced classification tasks. Though a small-scale program in terms of size, the package is, to the best of the authors' knowledge, the first of its kind which provides an integrated implementation for the two losses on XGBoost and brings a general-purpose extension on XGBoost for label-imbalanced scenarios. In this paper, the design and usage of the package are described with exemplar code listings, and its convenience to be integrated into Python-driven Machine Learning projects is illustrated. Furthermore, as the first- and second-order derivatives of the loss functions are essential for the implementations, the algebraic derivation is discussed and it can be deemed as a separate algorithmic contribution. The performances of the algorithms implemented in the package are empirically evaluated on Parkinson's disease classification data set, and multiple state-of-the-art performances have been observed. Given the scalable nature of XGBoost, the package has great potentials to be applied to real-life binary classification tasks, which are usually of large-scale and label-imbalanced.

研究の動機と目的

• XGBoostが二値ラベル不均衡分類タスクにおいて性能が低下する問題に対処すること。
• 解析的導出を用いて、XGBoostフレームワーク内に重み付き交差エントロピーおよびフォーカル損失関数を実装すること。
• 実世界の不均衡分類問題に適した汎用的でスケーラブルなソリューションを提供すること。
• 複数のベンチマークデータセットを用いた実験的評価を通じて、提案損失関数の有効性を示すこと。
• Scikit-learnおよびXGBoostと互換性のある軽量でオープンソースのPythonパッケージをリリースすること。

提案手法

• 本パッケージは、導出された一次および二次勾配を用いたカスタム損失フレームワークにより、XGBoostに重み付き交差エントロピーおよびフォーカル損失関数を統合する。
• 本手法は、少数クラスの誤分類に対してより高いペナルティを課すために、XGBoostの目的関数にクラス重み付きまたはフォーカル損失項を組み込む。
• 両損失関数の一次および二次導関数の解析的導出を提供し、勾配ブースティングフレームワーク内での効率的最適化を可能にする。
• 実装はXGBoostに基づいており、NumPyおよびScikit-learnに依存しており、互換性と使いやすさを確保する。
• グリッドサーチを用いたハイパーパramータチューニングをサポートし、大規模データセットにおけるスケーラビリティを設計する。
• 本アプローチは、不均衡比が増加する4つのUCIベンチマークデータセットを用い、5分割交差検証で評価された。

実験結果

リサーチクエスチョン

• RQ1 XGBoostに重み付きおよびフォーカル損失関数を統合することで、二値ラベル不均衡分類タスクにおける性能が著しく向上するか？
• RQ2 損失関数の導出された一次および二次勾配は、XGBoostフレームワーク内での有効な最適化をどのように可能にするか？
• RQ3 提案手法は、高比率の不均衡データセットにおいて、F1スコアおよびマクカーシー相関係数（MCC）の観点で、元のXGBoostを上回るか？
• RQ4 異なるベンチマークデータセットにおいて、不均衡比が増加するに従い、本手法の性能はどのように変化するか？
• RQ5 本パッケージは、大規模で不均衡な実世界のデータに対して効果的に使用可能か？

主な発見

• パーキンソン病データセットでは、重み付きXGBoostおよびフォーカルXGBoostが、元のXGBoostよりも高いAUCおよびPR曲線下積分面積を達成し、少数クラスの検出性能が向上していることが示された。
• エコリ・データセット（9:1の不均衡比）では、重み付きおよびフォーカルXGBoostが、F1スコアを元のXGBoostの0.627から0.645に向上させ、MCCを0.586から0.616に上昇させた。
• アリズミアデータセット（17:1の不均衡比）では、重み付きXGBoostがF1スコアを0.627から0.681に、MCCを0.605から0.665に向上させた。
• オゾンデータセット（42:1の不均衡比）では、重み付きXGBoostがF1スコアを元のXGBoostの0.144から0.268に向上させ、フォーカルXGBoostでも0.180まで向上した。
• 不均衡比が高くなるに従い、提案手法の性能向上が顕著に現れ、特にF1スコアおよびMCC指標で顕著であった。
• 本パッケージは全5つのデータセットで競争力のある性能を示し、PyPIおよびGitHubに公開されており、実用性および採用可能性が裏付けられている。