[論文レビュー] Clustering and Learning from Imbalanced Data

Naman Deep Singh, Abhinav Dhall|ArXiv.org|Nov 2, 2018

Imbalanced Data Classification Techniques参考文献 26被引用数 21

ひとこと要約

本稿では、クラスタ中心とサンプル間距離に基づいて合成マイノリティクラスサンプルを生成する、新しいデータレベルのリサンプリング手法であるClustering-Based Oversampling (CBOS) を提案する。この手法は過学習を低減し、メジャリティクラスの分布を保持する。CBOSは、深層ニューラルネットワーク分類器において、SMOTE、ADASYN、SMOTE-ENNと比較して、特に高次元データにおいて、複数の指標で優れた性能を発揮する。これは、分布に配慮した、侵入性のないリサンプリング戦略のおかげである。

ABSTRACT

A learning classifier must outperform a trivial solution, in case of imbalanced data, this condition usually does not hold true. To overcome this problem, we propose a novel data level resampling method - Clustering Based Oversampling for improved learning from class imbalanced datasets. The essential idea behind the proposed method is to use the distance between a minority class sample and its respective cluster centroid to infer the number of new sample points to be generated for that minority class sample. The proposed algorithm has very less dependence on the technique used for finding cluster centroids and does not effect the majority class learning in any way. It also improves learning from imbalanced data by incorporating the distribution structure of minority class samples in generation of new data samples. The newly generated minority class data is handled in a way as to prevent outlier production and overfitting. Implementation analysis on different datasets using deep neural networks as the learning classifier shows the effectiveness of this method as compared to other synthetic data resampling techniques across several evaluation metrics.

研究の動機と目的

• SMOTE や ADASYN などの既存の合成リサンプリング手法に見られる、ノイズの導入、過学習、メジャリティクラスの分布への干渉といった限界を解消すること。
• 特に高次元データや深刻なクラス不均衡状況において、不均衡なバイナリ分類データセットにおける学習パフォーマンスを向上させること。
• 次元数に強く、メジャリティクラスデータの元の構造を変化させないリサンプリング手法を開発すること。
• マイノリティクラスサンプルの内在的分布構造を合成サンプル生成に組み込むことで、一般化性能を向上させ、外れ値の生成を低減すること。
• 深層ニューラルネットワークを学習分類器として用いて、複数の評価指標において提案手法の優れた性能を実証すること。

提案手法

• k-means などのクラスタリング手法を用いて、マイノリティクラスサンプルの中心点（クラスタ中心）を特定し、合成サンプル生成の基盤とする。
• 各マイノリティサンプルからそのクラスタ中心までの距離を計算し、そのサンプルに対して生成する合成サンプルの数を決定する。
• 距離を正規化して、中心点に近いサンプルに高い生成数を割り当て、代表的なポイントを強調する。
• 境界付きのランダム関数を用いてマイノリティクラスサンプルを摂動させることで、新しい合成サンプルを生成し、新たな点が妥当なデータ境界内に留まるように保証する。
• 距離正規化技術を用いて、マイノリティインスタンス1つあたりの合成サンプル数を制御し、過学習と外れ値のリスクを低減する。
• リサンプリング中にメジャリティクラスデータと干渉しないようにし、元の分布を保持し、意図しないデータ空間への干渉を回避する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングに基づくオーバーサンプリング手法は、メジャリティクラスの表現を劣化させることなく、不均衡データセットにおける分類性能を向上させることができるか？
• RQ2 CBOS は、F1スコア、AUC、再現率といった主要指標において、SMOTE、ADASYN、SMOTE-ENN と比較して、クラス不均衡の度合いが異なる条件下でどのように性能を発揮するか？
• RQ3 従来の手法がしばしば失敗する高次元データにおいて、提案手法はロバスト性と一般化性能を維持できるか？
• RQ4 既存の合成サンプリング手法と比較して、CBOS は過学習と外れ値生成をどの程度低減できるか？
• RQ5 k-means や深層ニューラルネットワークに限らず、他のクラスタリングアルゴリズムや学習モデルに対しても、本手法は一般化可能か？

主な発見

• CBOS は、低次元および高次元データセットの両方において、F1、AUC、再現率といった複数の評価指標で、SMOTE、ADASYN、SMOTE-ENN を顕著に上回る性能を発揮する。
• 深刻な不均衡データセット（例：Data-4）では、他の手法が再現率や F1 スコアの低下を示す中、CBOS は安定したパフォーマンスを維持する。
• 他の手法とは異なり、CBOS はメジャリティクラス分類に悪影響を及げず、データセット全体を通してメジャリティクラスの再現率が安定または向上していることが実証されている。
• 高次元設定（例：高次元属性比を持つ Data-5）では、CBOS は SMOTE や ADASYN と同等の性能を維持する一方で、従来手法は性能を低下させるため、優れたスケーラビリティを示している。
• 境界付きのランダム摂動と距離正規化に基づく中心点サンプリングにより、過学習と外れ値生成が効果的に防止されている。
• CBOS はクラスタリングアルゴリズムの選択に強く、mean-shift やガウス・ミックス・モデルなどの代替モデルを用いても、期待される同等の性能を発揮する。