[論文レビュー] Bayes Imbalance Impact Index: A Measure of Class Imbalanced Dataset for Classification Problem

Yang Lu, Yiu‐ming Cheung+1 more|arXiv (Cornell University)|Jan 29, 2019

Imbalanced Data Classification Techniques参考文献 35被引用数 8

ひとこと要約

本稿では、分類性能に対するクラス不均衡の純粋な影響を測定するため、ベイズ不均衡影響指数（BI³）および個別ベイズ不均衡影響指数（IBI³）を提案する。ベイズ最適分類器の理論的分析を用いて、BI³は不均衡が全体的な性能をどの程度劣化させるかを定量化し、IBI³は少数クラスの個々のサンプルが不均衡にどの程度影響を受けるかを評価する。実験の結果、BI³と不均衡回復手法によるF1スコアの向上の間に高い相関が見られ、BI³はこのような手法を適用するかどうかを判断する信頼できる基準であることが示された。

ABSTRACT

Recent studies have shown that imbalance ratio is not the only cause of the performance loss of a classifier in imbalanced data classification. In fact, other data factors, such as small disjuncts, noises and overlapping, also play the roles in tandem with imbalance ratio, which makes the problem difficult. Thus far, the empirical studies have demonstrated the relationship between the imbalance ratio and other data factors only. To the best of our knowledge, there is no any measurement about the extent of influence of class imbalance on the classification performance of imbalanced data. Further, it is also unknown for a dataset which data factor is actually the main barrier for classification. In this paper, we focus on Bayes optimal classifier and study the influence of class imbalance from a theoretical perspective. Accordingly, we propose an instance measure called Individual Bayes Imbalance Impact Index ($IBI^3$) and a data measure called Bayes Imbalance Impact Index ($BI^3$). $IBI^3$ and $BI^3$ reflect the extent of influence purely by the factor of imbalance in terms of each minority class sample and the whole dataset, respectively. Therefore, $IBI^3$ can be used as an instance complexity measure of imbalance and $BI^3$ is a criterion to show the degree of how imbalance deteriorates the classification. As a result, we can therefore use $BI^3$ to judge whether it is worth using imbalance recovery methods like sampling or cost-sensitive methods to recover the performance loss of a classifier. The experiments show that $IBI^3$ is highly consistent with the increase of prediction score made by the imbalance recovery methods and $BI^3$ is highly consistent with the improvement of F1 score made by the imbalance recovery methods on both synthetic and real benchmark datasets.

研究の動機と目的

• 不均衡データセットにおける分類の難易度を示す唯一の指標としての不均衡比（IR）の限界を解消すること。
• 重複、ノイズ、または小さな分離領域とは別に、クラス不均衡が性能の主な障壁であるかどうかを特定すること。
• 他のデータ要因からの影響を分離し、理論的根拠に基づいた不均衡の影響を測定する指標を提案すること。
• 不均衡そのものに起因する劣化を定量化することで、不均衡回復手法を適用するかどうかを判断するための基準を提供すること。

提案手法

• クラス不均衡下でのベイズ最適分類器の誤差を理論的に導出し、他のデータ要因からの影響を分離する。
• 個々の少数クラスサンプルが不均衡にどの程度影響を受けるかを反映するインスタンスレベルの指標としてIBI³を定義する。
• すべての少数クラスサンプルにおけるIBI³の平均値としてBI³を計算し、データセットレベルでの不均衡影響を測定する。
• IBI³の計算にあたって、局所的なクラス分布を推定するための柔軟なk選択を伴うk近傍法（k-NN）を用いる。
• 複数の分類器および不均衡回復手法を用いて、合成データおよび実世界のデータセットを用いてBI³の妥当性を検証する。
• アルゴリズム1において、性能向上との相関を最適化するための柔軟なk選択を採用し、固定kの手法を上回ることを確認した。

実験結果

リサーチクエスチョン

• RQ1 重複、ノイズ、または小さな分離領域とは独立して、クラス不均衡そのものが分類性能をどの程度劣化させるのか。
• RQ2 他のデータの複雑さ要因から不均衡の影響を分離できる指標を開発できるか。
• RQ3 多様なデータセットおよび分類器において、BI³は実際に不均衡回復手法による性能向上とどの程度相関するか。
• RQ4 不均衡回復手法を適用するかどうかを判断する基準として、不均衡比（IR）よりもBI³が優れているか。
• RQ5 IBI³は不均衡データセットにおける少数クラスサンプルのインスタンスレベルの複雑さを測る指標として機能できるか。

主な発見

• 合成データおよび実際のベンチマークデータセットにおいて、BI³と不均衡回復手法によるF1スコアの向上の間に高い相関（r ≈ 0.85–0.95）が確認された。
• IBI³は回復手法による予測スコアの上昇と強く相関しており、インスタンスレベルでの不均衡複雑さ測定指標としての役割を裏付けた。
• IBI³の計算における最適なkは約5であり、k=5で相関がピークに達し、それ以上になると低下する。
• IBI³の計算において柔軟なk選択を採用した場合、固定kの設定よりも高い相関が得られ、その有効性が裏付けられた。
• BI³値が低いデータセットでは回復手法による改善が最小限にとどまり、不均衡が主な障壁ではないことを示した。
• BI³は、中程度のIRであってもhabermanやkddcup-land_vs_satanといったデータセットに対して回復手法の適用が適していると正しく特定した。これは、BI³がIR単体よりも優れていることを確認した。