[論文レビュー] Effective Class-Imbalance learning based on SMOTE and Convolutional Neural Networks

Javad Hasannataj Joloudari, Abdolreza Marefat+3 more|arXiv (Cornell University)|Sep 1, 2022

Imbalanced Data Classification Techniques被引用数 8

ひとこと要約

本論文では、クラス不均衡問題に対処するため、SMOTEオーバーサンプリングと畳み込みニューラルネットワーク（CNNs）を組み合わせたハイブリッドディープラーニング手法を提案する。SMOTEと正規化、CNNのトレーニングを統合することで、24の不均衡データセットで99.08％の精度を達成し、ベースライン手法を著しく上回った。

ABSTRACT

Imbalanced Data (ID) is a problem that deters Machine Learning (ML) models for achieving satisfactory results. ID is the occurrence of a situation where the quantity of the samples belonging to one class outnumbers that of the other by a wide margin, making such models learning process biased towards the majority class. In recent years, to address this issue, several solutions have been put forward, which opt for either synthetically generating new data for the minority class or reducing the number of majority classes for balancing the data. Hence, in this paper, we investigate the effectiveness of methods based on Deep Neural Networks (DNNs) and Convolutional Neural Networks (CNNs), mixed with a variety of well-known imbalanced data solutions meaning oversampling and undersampling. To evaluate our methods, we have used KEEL, breast cancer, and Z-Alizadeh Sani datasets. In order to achieve reliable results, we conducted our experiments 100 times with randomly shuffled data distributions. The classification results demonstrate that the mixed Synthetic Minority Oversampling Technique (SMOTE)-Normalization-CNN outperforms different methodologies achieving 99.08% accuracy on the 24 imbalanced datasets. Therefore, the proposed mixed model can be applied to imbalanced binary classification problems on other real datasets.

研究の動機と目的

• 少数クラスが不足しているためモデルが多数クラスに偏ってしまう、機械学習におけるクラス不均衡の課題に対処すること。
• 特にCNNを含むディープラーニングモデルと、SMOTEのようなデータレベルの技術を組み合わせることで不均衡データを扱う有効性を調査すること。
• 多様な実世界のデータセットにおいて、オーバーサンプリング（SMOTE）と正規化をCNNと統合したハイブリッド手法の性能を評価すること。
• 複数回の実験と複数のデータセットにおいて一貫性があり、高い精度を示すことで、提案手法の信頼性と一般化能力を実証すること。

提案手法

• 少数クラスのための合成サンプルを生成するために、合成少数クラスオーバーサンプリング技術（SMOTE）を適用し、データのバランスを改善する。
• CNNモデルのトレーニングダイナミクスを安定化・向上させるために、データ正規化技術を統合する。
• 不均衡データから強力で階層的な特徴を学習できるように、拡張されたデータセット上で畳み込みニューラルネットワーク（CNN）をトレーニングする。
• SMOTEと正規化、CNNを統合した一貫したパイプラインを構築し、モデルの一般化能力を向上させるハイブリッド手法を構築する。
• すべての実験でデータ分布を100回ランダムシャッフルすることで、統計的信頼性を確保し、結果のばらつきを低減する。
• KEEL、乳癌、Z-Alizadeh Saniを含む複数のベンチマークデータセットを用いて、標準分類指標で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 SMOTEとCNNの組み合わせは、不均衡データセットにおける分類精度の向上にどの程度有効であるか？
• RQ2 正規化をSMOTEとCNNに統合することで、より安定的で信頼性の高いモデル性能が得られるか？
• RQ3 提案されたSMOTE-正規化-CNNモデルは、多様なデータセットにおけるクラス不均衡の処理において、他の既存手法と比べてどのように差をつけるか？
• RQ4 提案手法は、さまざまなタイプの不均衡バイナリ分類問題に一般化可能か？
• RQ5 データの繰り返しランダムシャッフルが、モデル性能の一貫性と信頼性にどのような影響を与えるか？

主な発見

• SMOTE-正規化-CNNモデルは、24の不均衡データセットで分類精度99.08％を達成し、他のベースライン手法を著しく上回った。
• 提案手法は高い一貫性と信頼性を示し、結果は100回のランダムデータシャッフルの平均値を用いてばらつきを最小限に抑えた。
• SMOTEと正規化、CNNの統合により、学習ダイナミクスが向上し、多数クラスへのバイアスが低減された。
• KEEL、乳癌、Z-Alizadeh Saniを含む多様な実世界データセットにおいて、強力な一般化能力を示した。
• データレベルの拡張（SMOTE）とディープラーニング（CNN）を組み合わせたハイブリッドアプローチが、不均衡バイナリ分類において極めて効果的であることが確認された。
• 他の構成と比較して本手法が優れた性能を示したため、SMOTEを適切なデータ前処理とディープラーニングアーキテクチャと組み合わせることが重要であることが示された。