[論文レビュー] Handling Imbalanced Data: A Case Study for Binary Class Problems

Richmond Addo Danquah|arXiv (Cornell University)|Oct 9, 2020

Imbalanced Data Classification Techniques参考文献 6被引用数 5

ひとこと要約

本稿では、不均衡なバイナリ分類におけるSMOTEとADASYNの、実践的でアルゴリズム的に透明な比較を提案する。両手法が少数クラスのサンプルを生成する方法を手作業で計算することで、SMOTEは均等に、ADASYNは近傍の密度に基づいて適応的に生成することを明確にする。ADASYNが、特に高比率の不均衡状況下で、学習が難しい少数クラスインスタンスの性能向上に寄与することを示している。

ABSTRACT

For several years till date, the major issues in terms of solving for classification problems are the issues of Imbalanced data. Because majority of the machine learning algorithms by default assumes all data are balanced, the algorithms do not take into consideration the distribution of the data sample class. The results tend to be unsatisfactory and skewed towards the majority sample class distribution. This implies that the consequences as a result of using a model built using an Imbalanced data without handling for the Imbalance in the data could be misleading both in practice and theory. Most researchers have focused on the application of Synthetic Minority Oversampling Technique (SMOTE) and Adaptive Synthetic (ADASYN) Sampling Approach in handling data Imbalance independently in their works and have failed to better explain the algorithms behind these techniques with computed examples. This paper focuses on both synthetic oversampling techniques and manually computes synthetic data points to enhance easy comprehension of the algorithms. We analyze the application of these synthetic oversampling techniques on binary classification problems with different Imbalanced ratios and sample sizes.

研究の動機と目的

• 標準的な機械学習アルゴリズムが多数クラスに偏る、不均衡データの持続的課題に対処すること。
• SMOTEとADASYNの合成データ生成の詳細で段階的な手作業計算を提供し、アルゴリズムの理解を深めること。
• 標準分類指標を用いて、さまざまな不均衡比とサンプルサイズにおけるSMOTEとADASYNの性能を比較すること。
• ADASYNの近傍密度に基づく適応的サンプリングが、学習が難しい少数クラスインスタンスの検出をどのように改善するかを示すこと。
• 実世界の応用、例えば不正検出や医療診断における合成オーバーサンプリング技術への実用的知見を提供すること。

提案手法

• SMOTEを用いて、少数クラスの各サンプルについてk個の近隣を特定し、そのサンプルと近隣との間のランダムなベクトルを計算し、そのベクトルに沿って新しい点を生成する。
• ADASYNを適用し、各少数クラスサンプルのk近傍内における多数クラス近隣の割合を計算して、サンプリングの優先度を決定する。
• 難易度スコア（多数クラス近隣の割合）に応じて、合成サンプルを割合的に生成する。スコアが高いほど、より多くの合成サンプルが生成される。
• 少数クラスサンプル1つあたりの合成サンプル数を、多数クラスの近傍密度に比例する重み付き分布として設定する。
• 標準評価指標（Accuracy、Precision、Recall、F1-Score、AUC）を用いて、オーバーサンプリング前後のモデル性能を比較する。
• 不均衡比とサンプルサイズを制御した、実世界を想定したバイナリデータセットに手法を適用し、耐久性を評価する。

実験結果

リサーチクエスチョン

• RQ1 SMOTEとADASYNは、さまざまな不均衡度のバイナリ分類問題に適用された際、どのように異なる性能を示すか？
• RQ2 合成オーバーサンプリングは、不均衡データセットにおけるRecall、F1-Score、AUCといった主要分類指標にどのような影響を与えるか？
• RQ3 ADASYNの適応的サンプリング戦略は、SMOTEの均等サンプリングと比較して、学習が難しい少数クラスインスタンスのモデル性能をどのように向上させるか？
• RQ4 合成データポイントの手作業計算は、SMOTEとADASYNの背後にあるメカニズムの理解を向上させることができるか？
• RQ5 サンプルサイズと不均衡比は、合成オーバーサンプリング技術の有効性にどのような影響を与えるか？

主な発見

• 不均衡比が高い状況では、ADASYNがRecallとF1-Scoreの面でSMOTEを上回り、特に分類が難しい少数クラスインスタンスに対してより多くの合成サンプルを生成するためである。
• SMOTEとADASYNの合成ポイントの手作業計算により、アルゴリズムのプロセスが明確に示され、SMOTEは少数クラスサンプル全体に均等にポイントを生成するが、ADASYNは多数クラス近隣が多めのサンプルを優先することがわかる。
• 少数クラスが3つのサンプルである例では、SMOTEが2つの合成ポイント（4.5, 3）と（5, 2.5）を生成し、少数クラスを5つに増加させ、不均衡比が改善された。
• ADASYNの適応的メカニズムにより、多数クラス近隣の密度が高い領域に合成サンプルがより効果的に分布し、通常は曖昧で学習が難しい領域に焦点を当てる。
• 本研究では、Accuracyに依存するだけでは不均衡な状況で誤解を招くことが確認され、少数クラス検出にはRecallやF1-Scoreといった指標がより有用であることが示された。
• 結果から、ADASYNは、困難な少数クラスインスタンスに焦点を当てる能力のおかげで、SMOTEよりも高不均衡状況下でより頑健であることが示唆された。