[論文レビュー] Geometric SMOTE: Effective oversampling for imbalanced learning through a geometric extension of SMOTE

Georgios Douzas, Fernando Bação|arXiv (Cornell University)|Sep 21, 2017

Imbalanced Data Classification Techniques参考文献 28被引用数 11

ひとこと要約

幾何的SMOTE（G-SMOTE）は、各少数クラスインスタンスの周囲に柔軟な幾何領域（初期はハイパースフィロイド）を定義し、その領域内で合成少数クラスサンプルを生成する新規オーバースマピング手法を提案する。この領域は線分（SMOTEと同様）へと制御的に変形可能であり、最小限のハイパーパラメータチューニングで高品質で多様な合成データを生成することで、不均衡データセットにおける分類器の性能を顕著に向上させる。

ABSTRACT

Classification of imbalanced datasets is a challenging task for standard algorithms. Although many methods exist to address this problem in different ways, generating artificial data for the minority class is a more general approach compared to algorithmic modifications. SMOTE algorithm and its variations generate synthetic samples along a line segment that joins minority class instances. In this paper we propose Geometric SMOTE (G-SMOTE) as a generalization of the SMOTE data generation mechanism. G-SMOTE generates synthetic samples in a geometric region of the input space, around each selected minority instance. While in the basic configuration this region is a hyper-sphere, G-SMOTE allows its deformation to a hyper-spheroid and finally to a line segment, emulating, in the last case, the SMOTE mechanism. The performance of G-SMOTE is compared against multiple standard oversampling algorithms. We present empirical results that show a significant improvement in the quality of the generated data when G-SMOTE is used as an oversampling algorithm.

研究の動機と目的

• 少数クラスが不足している機械学習におけるクラス不均衡の課題に対処すること。
• SMOTEの限界である、少数インスタンス間の線分に沿った合成サンプル生成がノイズや過学習を引き起こす問題を改善すること。
• 局所的なデータ幾何に適応するより柔軟なデータ生成メカニズムを構築し、安全で高品質な合成サンプルを生成すること。
• 多様な実世界のデータセットを対象に評価することで、既存のオーバースマピング手法に比べて一貫した性能向上を実証すること。

提案手法

• 少数クラスインスタンスの周囲に幾何領域（初期はハイパースフィロイド）を定義し、安全半径を用いて領域のサイズと形状を制御する。
• 幾何領域をハイパースフィロイドから線分へとパラメトリックに変形可能とし、必要に応じてSMOTEを模倣できるようにする。
• 切断された幾何領域内に一様に合成サンプルを生成することで、局所的なデータ構造を保ち、ノイズの多い領域を避ける。
• 1つのハイパーパrameterで領域の形状と範囲を制御し、異なるデータ分布や不均衡比に適応可能にする。
• 任意の分類器のトレーニングの前処理ステップとして統合し、標準的な学習アルゴリズムとの互換性を維持する。
• 距離に基づく選択戦略を用い、少数クラスインスタンスおよびその周囲の多数クラスまたは少数クラスの近傍点を特定し、領域定義を支援する。

実験結果

リサーチクエスチョン

• RQ1 SMOTEの線形補間を幾何的に拡張することで、合成少数サンプルの品質が向上するか？
• RQ2 ハイパースフィロイドから線分への幾何領域の変形能力により、G-SMOTEは合成データ生成における多様性と安全性のバランスを取れるか？
• RQ3 多様な不均衡データセットにおいて、G-SMOTEはSMOTE、Borderline SMOTE、ADASYNと比較して分類性能に優れているか？
• RQ4 既存のオーバースマピング手法に比べ、G-SMOTEはより少ないハイパーパrameterで優れた性能を達成できるか？
• RQ5 G-SMOTEの幾何的柔軟性が、少数クラスサンプルにおける一般化性能の向上と過学習の低減に寄与するか？

主な発見

• G-SMOTEは13の多様なデータセットにおいて、F1、G-mean、AUCの指標でSMOTE、Borderline SMOTE、ADASYNを顕著に上回った。
• 平均して、G-SMOTEは全分類器と指標において最も低い平均順位（F1: 1.15、G-mean: 1.08、AUC: 1.15）を達成し、優れた性能を示した。
• Friedman検定により、性能差に統計的有意性（p < 0.05）が確認され、すべての手法が同等に性能を発揮するという帰無仮説が棄却された。
• Irisデータセットでは、F1がADASYNの0.657から0.739に向上し、G-meanも0.739から0.739に上昇し、極度に不均衡なケースにおいても一貫した向上が得られた。
• Vehicleデータセットでは、G-SMOTEがG-mean 0.969を達成し、ADASYN（0.946）とBorderline SMOTE2（0.915）を上回り、高次元データにおいても頑健であることが示された。
• ロジスティック回帰と勾配ブースティング分類器の両方で高い性能を維持したため、広範な適用可能性と安定性が裏付けられた。