[論文レビュー] Imbalanced Class Data Performance Evaluation and Improvement using Novel Generative Adversarial Network-based Approach: SSG and GBO

Md Manjurul Ahsan, Md Shahin Ali+1 more|arXiv (Cornell University)|Oct 23, 2022

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本論文は、機械学習におけるクラス不均衡問題に対処するため、2つの新しいGANベースのオーバーサンプリング手法—GANベースのオーバーサンプリング（GBO）およびSVM-SMOTE-GAN（SSG）—を提案する。生成的対抗ネットワークとSVMガイド付きSMOTEを活用することで、より良好なガウス分布を示し、誤分類が少ない合成少数クラスサンプルを生成する。8つのベンチマークデータセットにおいて、精度、F1スコア、誤分類率の観点で従来のSMOTEを上回る性能を発揮する。

ABSTRACT

Class imbalance in a dataset is one of the major challenges that can significantly impact the performance of machine learning models resulting in biased predictions. Numerous techniques have been proposed to address class imbalanced problems, including, but not limited to, Oversampling, Undersampling, and cost-sensitive approaches. Due to its ability to generate synthetic data, oversampling techniques such as the Synthetic Minority Oversampling Technique (SMOTE) is among the most widely used methodology by researchers. However, one of SMOTE's potential disadvantages is that newly created minor samples may overlap with major samples. As an effect, the probability of ML models' biased performance towards major classes increases. Recently, generative adversarial network (GAN) has garnered much attention due to its ability to create almost real samples. However, GAN is hard to train even though it has much potential. This study proposes two novel techniques: GAN-based Oversampling (GBO) and Support Vector Machine-SMOTE-GAN (SSG) to overcome the limitations of the existing oversampling approaches. The preliminary computational result shows that SSG and GBO performed better on the expanded imbalanced eight benchmark datasets than the original SMOTE. The study also revealed that the minor sample generated by SSG demonstrates Gaussian distributions, which is often difficult to achieve using original SMOTE.

研究の動機と目的

• 従来のSMOTEの限界、例えば重複する合成サンプルや高次元データにおける一般化性能の低さを解消すること。
• 生成的対抗ネットワーク（GAN）を活用して、より現実的な合成少数クラスサンプルを生成することで、少数クラスの表現を向上させること。
• より良好なクラス分布特性を持つ合成少数クラスサンプルを生成することで、多数クラスへのモデルバイアスを低減すること。
• 医療診断や不正検知など、少数クラスの誤分類に重大な影響を及える実世界の応用分野における分類性能を向上させること。
• 提案手法（GBOおよびSSG）を、標準的な不均衡ベンチマークデータセット上でSMOTEおよびベースラインモデルと比較して評価すること。

提案手法

• 生成器が判別器を欺くように訓練されるGANフレームワークであるGANベースのオーバーサンプリング（GBO）を提案。これにより、データの現実性が向上する。
• SVMによる境界検出とGANによる生成を統合したハイブリッド手法、SVM-SMOTE-GAN（SSG）を導入。これにより、より頑健で重複の少ない合成少数クラスサンプルが生成される。
• 条件付きGANアーキテクチャを採用。生成器はクラス固有の特徴およびSVMから導出された意思決定境界に条件付けられて、少数クラスサンプルを学習的に生成する。
• 2段階の訓練プロセスを適用：まずSVMが意思決定境界付近の重要な少数クラスサンプルを特定し、次にGANがこれらの点の周囲に新しいサンプルを生成することで一般化性能を向上させる。
• 生成されたサンプルがクラス分布およびクラス間距離を保持するように、敵対的損失と特徴再構成損失を最適化することで、生成器と判別器を最適化する。
• 公平な比較のため、すべてのデータセットでハイパーパrameterを固定するが、個々のデータセットではパラメータチューニングを推奨する。

実験結果

リサーチクエスチョン

• RQ1 高次元で極端に不均衡なデータセットにおいて、GANベースのアプローチは従来のSMOTEに比べて少数クラスサンプルの誤分類を低減できるか？
• RQ2 SVMとSMOTEおよびGANを統合したSSGは、多数クラスと重複する合成少数クラスサンプルの質を向上させられるか？
• RQ3 提案手法（GBOおよびSSG）は、元のデータのクラス間距離およびガウス分布をどの程度保持できるか？
• RQ4 GBOおよびSSGは、複数のベンチマークデータセットにおいて、精度、適合率、再現率、F1スコアの観点でSMOTEに比べて優れているか？
• RQ5 提案手法は、広範な高次元不均衡データセットに一般化可能であり、大規模なハイパーパrameterチューニングなしで適用可能か？

主な発見

• SSGおよびGBOは、8つのベンチマークデータセットすべてにおいて、SMOTEおよび元のデータと比較して、合計誤分類（偽陽性＋偽陰性）を顕著に低減した。
• アバロンデータセットでは、ヒストограм分析により、SSGが生成したサンプルがSMOTEが生成したサンプルよりもよりガウス分布に近い分布を示した。
• アバロンデータセットでは、SSGが誤分類率80を達成したのに対し、元のデータが122、SMOTEも122であった。
• シャトルデータセットでは、誤分類数が元のデータ（39）およびSMOTE（20）からSSGでは11にまで低下し、高次元データにおける優れた性能を示した。
• ページブロックスデータセットでは、SSGが誤分類数1およびF1スコアで最高を記録し、SMOTEおよびGBOを上回った。
• 標準偏差分析により、Ecoli、Winequality、アバロン、イオンオスフィア、シャトルの各データセットで、SSGが元のデータに最も近いクラス間距離を保持していた。これは、より優れたデータ分布忠実度を示している。