[論文レビュー] An Empirical Study on the Joint Impact of Feature Selection and Data Re-sampling on Imbalance Classification

Chongsheng Zhang, Paolo Soda+4 more|arXiv (Cornell University)|Sep 1, 2021

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

本論文は、2クラスの不均衡分類における特徴選択とデータ再サンプリングの共同的影響について、包括的な実験的分析を実施している。52のデータセット、9種類の特徴選択手法、6種類の再サンプリング手法、3種類の分類器を用いて、特徴選択を前に行う（FS+DS）と再サンプリングを前に行う（DS+FS）という2つのパイプラインを比較した。その結果、どちらのパイプラインも一貫して優れているとは限らず、最適なパフォーマンスを得るには両方を評価する必要があることが明らかになった。

ABSTRACT

In predictive tasks, real-world datasets often present different degrees of imbalanced (i.e., long-tailed or skewed) distributions. While the majority (the head) classes have sufficient samples, the minority (the tail) classes can be under-represented by a rather limited number of samples. Data pre-processing has been shown to be very effective in dealing with such problems. On one hand, data re-sampling is a common approach to tackling class imbalance. On the other hand, dimension reduction, which reduces the feature space, is a conventional technique for reducing noise and inconsistencies in a dataset. However, the possible synergy between feature selection and data re-sampling for high-performance imbalance classification has rarely been investigated before. To address this issue, we carry out a comprehensive empirical study on the joint influence of feature selection and re-sampling on two-class imbalance classification. Specifically, we study the performance of two opposite pipelines for imbalance classification by applying feature selection before or after data re-sampling. We conduct a large number of experiments, with a total of 9225 tests, on 52 publicly available datasets, using 9 feature selection methods, 6 re-sampling approaches for class imbalance learning, and 3 well-known classification algorithms. Experimental results show that there is no constant winner between the two pipelines; thus both of them should be considered to derive the best performing model for imbalance classification. We find that the performance of an imbalance classification model not only depends on the classifier adopted and the ratio between the number of majority and minority samples, but also depends on the ratio between the number of samples and features. Overall, this study should provide new reference value for researchers and practitioners in imbalance learning.

研究の動機と目的

• 特徴選択とデータ再サンプリングの両者が不均衡分類性能に与える共同的影響を調査すること。
• 特徴選択を再サンプリングの前に行う（FS+DS）と後に行う（DS+FS）という2つの処理パイプラインの有効性を比較すること。
• データセットの特徴やアルゴリズムの選択に応じて、どちらのパイプラインが優れているかを特定すること。
• 特徴選択と再サンプリング手法の最適な組み合わせを、実データに基づいた実用的ガイダンスとして提供すること。
• クラス不均衡学習における特徴選択と再サンプリングの相乗効果について、包括的な実験的分析が不足しているという問題を解決すること。

提案手法

• 52の公開済み不均衡データセットを対象に、合計9,225件の実験を実施した。
• 9種類の特徴選択手法、6種類の再サンプリング手法（SMOTE、RUS、およびそれらの組み合わせを含む）、3種類の分類器（C4.5、SVM、MLP）を評価した。
• 2つの処理パイプラインを適用した：(1) 特徴選択の後に再サンプリング（FS+DS）、(2) 再サンプリングの後に特徴選択（DS+FS）。
• G-Mean、F1スコア、IBA（改善済みバランス精度）という複数の評価指標を用い、Iman-Davenport検定を用いた統計的有意性の検証を実施した。
• Rank-SUMに基づくヒューリスティックなTop-Kランク付けを用いて、データセット全体で上位に位置する手法の組み合わせを同定した。
• 不均衡比（IR）とサンプル数対特徴数比（SFR）がパイプラインのパフォーマンスに与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおいて、2クラスの不均衡分類において、FS+DS と DS+FS のどちらのパイプラインがより優れたパフォーマンスを示すか？
• RQ2 ベース分類器の選択（C4.5、SVM、MLP）、再サンプリング手法、特徴選択手法の選択がパイプラインのパフォーマンスに与える影響は何か？
• RQ3 データセットの不均衡比（IR）とサンプル数対特徴数比（SFR）が、2つのパイプラインの相対的有効性に与える影響は何か？
• RQ4 特定の特徴選択手法と再サンプリング手法の組み合わせの中で、評価指標全体で一貫して優れているものがあるか？
• RQ5 特徴選択と再サンプリングの順序が、不均衡学習におけるモデルの一般化性能およびロバストネスにどの程度影響を与えるか？

主な発見

• FS+DS と DS+FS のパイプラインの間には一貫した優劣がない。最適なパフォーマンスを得るには、両方を評価する必要がある。
• ベース分類器にC4.5を使用した場合、特にオーバーサンプリング手法を用いる際、DS+FSパイプラインがG-MeanおよびF1スコアにおいてFS+DSを上回る。
• SVMをベース分類器として使用した場合、アンダーサンプリング手法を用いる際はFS+DSがDS+FSを上回るが、オーバーサンプリングを用いる際には明確な優劣は見られない。
• 不均衡比（IR）が高く、サンプル数対特徴数比（SFR）が低いデータセットでは、FS+DSパイプラインに相対的な優位性が見られる。
• SFRが高く、IRが低いデータセットでは、どちらのパイプラインも一貫して優勢ではない。パフォーマンスは特定のデータセットと手法の組み合わせに依存する。
• 上位3位以内に常にランクインするトップパフォーマンスの手法の組み合わせとして、DS+FSではSMOTE+RSおよびLinear+RUS、FS+DSではChiS+RUSおよびTtest+RUSが、統計的（Iman-Davenport）およびヒューリスティック的（Top-K）な両評価指標で一貫して上位に位置していた。