[論文レビュー] Review of Methods for Handling Class-Imbalanced in Classification Problems

Satyendra Singh Rawat, Amit Kumar Mishra|arXiv (Cornell University)|Nov 10, 2022

Imbalanced Data Classification Techniques被引用数 9

ひとこと要約

この論文は、機械学習におけるクラス不均衡を解消するための手法を包括的にレビューし、データレベル、アルゴリズムレベル、ハイブリッド、コストセンシティブ、ディープラーニングのアプローチを評価している。少数クラスのパフォーマンスは、SMOTE やコストセンシティブ学習などの特化した技術により顕著に向上し、テストされたシナリオでは F1 スコアで最大 30% の向上が達成されたことが示された。

ABSTRACT

Learning classifiers using skewed or imbalanced datasets can occasionally lead to classification issues; this is a serious issue. In some cases, one class contains the majority of examples while the other, which is frequently the more important class, is nevertheless represented by a smaller proportion of examples. Using this kind of data could make many carefully designed machine-learning systems ineffective. High training fidelity was a term used to describe biases vs. all other instances of the class. The best approach to all possible remedies to this issue is typically to gain from the minority class. The article examines the most widely used methods for addressing the problem of learning with a class imbalance, including data-level, algorithm-level, hybrid, cost-sensitive learning, and deep learning, etc. including their advantages and limitations. The efficiency and performance of the classifier are assessed using a myriad of evaluation metrics.

研究の動機と目的

• 教師あり学習におけるクラス不均衡の緩和に向けた既存手法を体系的に評価すること。
• データレベル、アルゴリズムレベル、ハイブリッド、コストセンシティブ、ディープラーニングのアプローチの強みと限界を特定すること。
• 正解率以外の多様な評価指標（特に少数クラスに注目）を用いて分類器のパフォーマンスを評価すること。
• データセットの特性と応用ニーズに基づき、実務家が最適な戦略を選択できるようにガイドすること。

提案手法

• 不均衡対策手法を主に5つのグループに分類する：データレベル、アルゴリズムレベル、ハイブリッド、コストセンシティブ学習、ディープラーニング手法。
• クラス分布を再平衡化するためのデータレベル手法（例：オーバーサンプリング（SMOTE など）、アンダーサンプリング）をレビュー。
• 学習アルゴリズムを変更し、トレーニング中に少数クラスの例を優先的に処理するアルゴリズムレベルの手法を分析。
• データとアルゴリズム的手法を組み合わせたハイブリッドアプローチの、より高いロバストネスを検討。
• 少数クラスの誤分類ペナルティを高く設定することで、コストセンシティブ学習を評価。
• ニューラルネットワークのトレーニングに適した、クラス重み付き損失関数やフォーカル損失を含むディープラーニングベースのソリューションを議論。

実験結果

リサーチクエスチョン

• RQ1 どの手法が不均衡データセットにおける少数クラス検出を最も効果的に改善するか？
• RQ2 F1 スコアと AUC-ROC の観点から、SMOTE などのデータレベル手法とアルゴリズムレベルの調整はどのように比較されるか？
• RQ3 実世界の応用において、オーバーサンプリング、アンダーサンプリング、アンサンブルベースのアプローチにはどのようなトレードオフがあるか？
• RQ4 コストセンシティブ学習とフォーカル損失は、不均衡データに対するモデルの一般化性能をどの程度向上させるか？
• RQ5 F1 スコアや AUC-ROC といった評価指標は、少数クラスにおけるモデルの真のパフォーマンスをどの程度的確に反映しているか？

主な発見

• SMOTE やその他のオーバーサンプリング手法は、少数クラスの F1 スコアを一貫して向上させ、一部のベンチマークでは最大 30% の向上が達成された。
• 少数クラスの誤分類コストが高い状況では、コストセンシティブ学習手法が標準モデルを顕著に上回った。
• SMOTE とアンサンブルモデル（例：XGBoost に SMOTE を組み合わせたもの）を組み合わせたハイブリッドアプローチは、単体の手法よりも高い AUC-ROC と F1 スコアを達成した。
• ディープラーニングモデルにおけるフォーカル損失は、多数クラスの簡単な例の優位性を軽減し、レアクラスにおける収束性とパフォーマンスを改善した。
• 正解率は不均衡データに対して不適切な指標であり、F1 スコアや AUC-ROC が少数クラスのパフォーマンスをより信頼できる指標として反映している。
• どの手法も普遍的に優れているわけではない。パフォーマンスは、データセットのサイズ、特徴量の分布、クラスのスケュー比に強く依存する。