[論文レビュー] A Novel Resampling Technique for Imbalanced Dataset Optimization

Ivan Letteri, Antonio Di Cecco+2 more|arXiv (Cornell University)|Dec 30, 2020

Imbalanced Data Classification Techniques参考文献 35被引用数 8

ひとこと要約

本論文は、クラスタリングのシルエット係数に基づくインスタンス選択と1-NNに基づく合成サンプル生成を用いて、マルウェアトラフィック検出におけるクラス不均衡を解消する2つの新規オーバーサンプリング手法、G1NoおよびG1No Gourmetを提案する。これらの手法は、すべての指標でSMOTEおよびADASYNを上回り、MTA-KDD'19データセットで99.84%の精度と100.0%のAUCを達成した。さらに、一般化性能が優れており、過学習も抑制されている。

ABSTRACT

Despite the enormous amount of data, particular events of interest can still be quite rare. Classification of rare events is a common problem in many domains, such as fraudulent transactions, malware traffic analysis and network intrusion detection. Many studies have been developed for malware detection using machine learning approaches on various datasets, but as far as we know only the MTA-KDD'19 dataset has the peculiarity of updating the representative set of malicious traffic on a daily basis. This daily updating is the added value of the dataset, but it translates into a potential due to the class imbalance problem that the RRw-Optimized MTA-KDD'19 will occur. We capture difficulties of class distribution in real datasets by considering four types of minority class examples: safe, borderline, rare and outliers. In this work, we developed two versions of Generative Silhouette Resampling 1-Nearest Neighbour (G1Nos) oversampling algorithms for dealing with class imbalance problem. The first module of G1Nos algorithms performs a coefficient-based instance selection silhouette identifying the critical threshold of Imbalance Degree. (ID), the second module generates synthetic samples using a SMOTE-like oversampling algorithm. The balancing of the classes is done by our G1Nos algorithms to re-establish the proportions between the two classes of the used dataset. The experimental results show that our oversampling algorithm work better than the other two SOTA methodologies in all the metrics considered.

研究の動機と目的

• 実世界のデータセットにおける継続的なクラス不均衡の課題に対処すること、特にマイノリティ（悪意のある）インスタンスが希少であるマルウェアトラフィック検出の文脈を想定する。
• 高品質な合成マイノリティサンプルの生成により分類器の性能を向上させる、データレベルのリサンプリングアプローチを開発すること。
• データの複雑さとマイノリティクラスの分布、特にセーフ、ボーダーライン、レア、アウトライアー例の役割がモデルの一般化性能に与える影響を調査すること。
• より知的で強固なサンプル生成のため、シルエット係数分析を組み込んだ、従来のSMOTEに類似した手法の改善を図ること。
• 動的で毎日更新されるMTA-KDD'19データセット上で手法を検証し、現実世界の不均衡ダイナミクスを模擬すること。

提案手法

• まず、不均衡度（ID）0.3721の閾値を設定して、シルエット係数に基づくインスタンス選択を実施し、ノイズや重複するマジョリティクラスのサンプルを同定・削除する。
• 次に、1-Nearest Neighbor（1-NN）アプローチを用いて、重要なマイノリティクラスの例を特定し、そのタイプ（セーフ、ボーダーライン、レア、アウトライアー）に分類する。
• SMOTEに類似したアルゴリズムを用いて合成マイノリティサンプルを生成するが、マイノリティインスタンスの凸包の内部および外部の両方でサンプルを生成することで、多様性を向上させる。
• G1No Gourmetバージョンは、シルエットスコアに基づいてより情報量の多い近傍を選択することで、サンプル生成プロセスを最適化し、サンプル品質を向上させる。
• 繰り返しサンプリングによる過学習を回避するため、標的となる合成データ生成によってクラス比を再確立することで、データセットのバランスを保つ。
• MTA-KDD'19データセット上でマルチレイヤーパーセプトロン分類器を用い、SMOTEおよびADASYNと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 シルエット係数に基づくインスタンス選択は、不均衡データセットにおけるリサンプリングの品質をどのように向上させるか？
• RQ2 1-NNに基づくマイノリティクラスサンプル生成アプローチは、一般化性能とロバストネスの観点から、標準的なSMOTEおよびADASYNを上回ることができるか？
• RQ3 マイノリティインスタンスの凸包の内部および外部に合成サンプルを生成することは、分類器性能にどのような影響を与えるか？
• RQ4 MTA-KDD'19データセットの動的かつ毎日更新される性質は、リサンプリング手法の評価にどのような影響を及えるか？
• RQ5 提案手法は、ベースラインのオーバーサンプリング手法と比較して、過学習と一般化ギャップをどの程度低減できるか？

主な発見

• G1NoおよびG1No Gourmetアルゴリズムは、MTA-KDD'19テストセットで99.84%の精度と100.0%のAUCを達成し、SMOTE（99.52%の精度、99.90%のAUC）およびADASYN（99.80%の精度、99.80%のAUC）を上回った。
• G1No Gourmetモデルは99.70%の精度を達成し、元のMTA-KDD'19データセットで報告された99.60%の精度を上回った。
• トレーニングおよび検証損失曲線から、G1No手法では最小限のギャップと安定した収束が確認され、強力な一般化性能と過学習の欠如が示された。これは、SMOTEおよびADASYNとは対照的であった。
• ADASYN手法では10エポック以降もトレーニング損失が継続して減少しており、早期停止による不適切な学習と不足学習の兆候が示された。一方、G1Noモデルは早期に安定し、最適な性能を発揮した。
• G1Noアルゴリズムは、マイノリティインスタンスの凸包を越えて拡張することで、より豊かな構造的多様性を持つサンプルを生成し、モデルのロバストネス向上に寄与した。
• 相関分析から、4つの手法が生成した合成サンプル間には有意な特徴レベルの差が認められ、G1Noがより一貫性があり情報量の多いインスタンスを生成していることが明らかになった。