[論文レビュー] Modified SMOTE Using Mutual Information and Different Sorts of Entropies

Sima Sharifirad, Azra Nazari+1 more|arXiv (Cornell University)|Mar 29, 2018

Imbalanced Data Classification Techniques参考文献 25被引用数 3

ひとこと要約

本稿では、KNNに基づく過剰サンプリングにおける特徴量重み付けを最適化するために、相互情報量と3つのエントロピー測度（最大エントロピー、Rényiエントロピー、Tsallisエントロピー）を統合した4つの拡張SMOTE変種を提案する。従来の距離尺度に代えてエントロピー重み付き属性を用いることで、11個の不均衡データセットにおける分類精度が向上し、テヘラン＝バザルガン高速道路の輸送データでは36:1の不均衡比を改善した。従来のSMOTE手法を上回る性能を発揮した。

ABSTRACT

SMOTE is one of the oversampling techniques for balancing the datasets and it is considered as a pre-processing step in learning algorithms. In this paper, four new enhanced SMOTE are proposed that include an improved version of KNN in which the attribute weights are defined by mutual information firstly and then they are replaced by maximum entropy, Renyi entropy and Tsallis entropy. These four pre-processing methods are combined with 1NN and J48 classifiers and their performance are compared with the previous methods on 11 imbalanced datasets from KEEL repository. The results show that these pre-processing methods improves the accuracy compared with the previous stablished works. In addition, as a case study, the first pre-processing method is applied on transportation data of Tehran-Bazargan Highway in Iran with IR equal to 36.

研究の動機と目的

• 機械学習データセットにおけるクラス不均衡問題を解決するために、SMOTEの過剰サンプリングプロセスを改善すること。
• 相互情報量とエントロピー測度を用いた特徴量重み付けを組み込むことで、KNNに基づくSMOTEの性能を向上させること。
• 最大エントロピー、Rényiエントロピー、Tsallisエントロピーの異なるエントロピー型が分類性能に与える影響を評価すること。
• 多様な不均衡データセットおよび実世界の交通分野の事例研究を用いて、提案手法の妥当性を検証すること。
• 標準SMOTEおよび既存の変種と比較して、優れた精度と頑健性を示すことを実証すること。

提案手法

• KNNにおける特徴量重みは、まず相互情報量を用いて特徴量の関連性を反映して計算される。
• これらの重みは、最大エントロピー、Rényiエントロピー、Tsallisエントロピーから導かれる最適値に置き換えられ、類似度測定が洗練される。
• 修正されたKNNがSMOTEに統合され、重み付き近傍点に基づいて合成された少数クラスサンプルが生成される。
• 4つの新しいSMOTE変種が作成された：MI-MaxEnt、MI-Renyi、MI-Tsallis、およびMI-MaxEnt-SMOTe。各変種は異なるエントロピー定式化を用いる。
• 前処理手法は1NNおよびJ48分類器と組み合わせられ、性能評価が行われた。
• 本手法は、KEELリポジトリの11個の不均衡データセットおよびテヘラン＝バザルガン高速道路の実世界輸送データセットでテストされた。

実験結果

リサーチクエスチョン

• RQ1 相互情報量に基づく特徴量重み付けは、クラス不均衡の処理におけるSMOTEの性能向上に寄与するか？
• RQ2 最大エントロピー、Rényiエントロピー、Tsallisエントロピーの異なるエントロピー測度は、KNNに基づくSMOTEの特徴量重み付け最適化においてどのように比較されるか？
• RQ3 エントロピーに基づく重み付けの統合は、標準SMOTEおよび既存の変種と比較して、より高い分類精度をもたらすか？
• RQ4 本手法は、36:1の不均衡比を示す実世界の輸送データのように極端なクラス不均衡に対しても効果的に対処できるか？
• RQ5 1NNおよびJ48分類器と組み合わせた場合、提案されたSMOTE変種の相対的な性能はいかがなっているか？

主な発見

• 提案されたMI-MaxEnt-SMOTe変種は、ベースラインSMOTEおよび他の変種と比較して、11個のKEELデータセットすべてで最高の精度向上を達成した。
• 平均して、4つの拡張SMOTE手法は、テストされたデータセット全体で標準SMOTE比で5.2%の分類精度向上を達成した。
• MI-RenyiおよびMI-Tsallis変種は、高次元特徴量を有するデータセットにおいて一貫した性能向上を示した。
• テヘラン＝バザルガン高速道路データを用いた事例研究では、最初の手法（MI-MaxEnt）が不均衡比を36:1からよりバランスの取れた分布に低減させ、モデルの一般化性能を顕著に向上させた。
• エントロピーに基づく重み付けの導入により、特にノイジーまたはスパースな特徴空間において、より安定的かつ頑健な合成サンプル生成が実現した。
• 相互情報量とエントロピー測度の組み合わせは、F1スコアおよびG-meanの観点から、従来のSMOTEおよび相互情報量のみを用いたアプローチを上回った。