[论文解读] Bayes Imbalance Impact Index: A Measure of Class Imbalanced Dataset for Classification Problem

Yang Lu, Yiu‐ming Cheung+1 more|arXiv (Cornell University)|Jan 29, 2019

Imbalanced Data Classification Techniques参考文献 35被引用 8

一句话总结

本文提出了贝叶斯不平衡影响指数（BI³）和个体贝叶斯不平衡影响指数（IBI³），以衡量类别不平衡对分类性能的纯粹影响。通过贝叶斯最优分类器的理论分析，BI³量化了不平衡对整体性能的退化程度，而IBI³则评估了单个少数类样本的脆弱性。实验表明，BI³与各类不平衡恢复方法带来的F1分数提升高度相关，使BI³成为判断是否应应用此类方法的可靠依据。

ABSTRACT

Recent studies have shown that imbalance ratio is not the only cause of the performance loss of a classifier in imbalanced data classification. In fact, other data factors, such as small disjuncts, noises and overlapping, also play the roles in tandem with imbalance ratio, which makes the problem difficult. Thus far, the empirical studies have demonstrated the relationship between the imbalance ratio and other data factors only. To the best of our knowledge, there is no any measurement about the extent of influence of class imbalance on the classification performance of imbalanced data. Further, it is also unknown for a dataset which data factor is actually the main barrier for classification. In this paper, we focus on Bayes optimal classifier and study the influence of class imbalance from a theoretical perspective. Accordingly, we propose an instance measure called Individual Bayes Imbalance Impact Index ($IBI^3$) and a data measure called Bayes Imbalance Impact Index ($BI^3$). $IBI^3$ and $BI^3$ reflect the extent of influence purely by the factor of imbalance in terms of each minority class sample and the whole dataset, respectively. Therefore, $IBI^3$ can be used as an instance complexity measure of imbalance and $BI^3$ is a criterion to show the degree of how imbalance deteriorates the classification. As a result, we can therefore use $BI^3$ to judge whether it is worth using imbalance recovery methods like sampling or cost-sensitive methods to recover the performance loss of a classifier. The experiments show that $IBI^3$ is highly consistent with the increase of prediction score made by the imbalance recovery methods and $BI^3$ is highly consistent with the improvement of F1 score made by the imbalance recovery methods on both synthetic and real benchmark datasets.

研究动机与目标

• 为解决不平衡比率（IR）作为不平衡数据集中分类难度唯一指标的局限性。
• 识别类别不平衡是否为性能瓶颈的主要原因，而非重叠、噪声或小不连通区域。
• 提出一种理论基础坚实的度量方法，将不平衡的影响与其他数据因素分离。
• 通过量化纯粹由不平衡导致的性能退化，为是否应用不平衡恢复方法提供决策依据。

提出的方法

• 通过理论推导贝叶斯最优分类器在类别不平衡下的误差，以将不平衡的影响与其他数据因素分离。
• 定义IBI³为实例级度量，反映单个少数类样本受不平衡影响的程度。
• 将BI³计算为所有少数类样本IBI³的平均值，作为衡量数据集层面不平衡影响的指标。
• 使用k近邻（k-NN）并结合灵活的k选择方法，以估计IBI³计算中的局部类别分布。
• 在多种分类器和不平衡恢复方法下，使用合成数据集和真实世界数据集验证BI³的有效性。
• 在算法1中采用灵活的k选择，以优化与性能提升的相关性，优于固定k的方法。

实验结果

研究问题

• RQ1 在排除重叠、噪声或小不连通区域等因素影响的前提下，类别不平衡本身在多大程度上会降低分类性能？
• RQ2 能否开发一种度量方法，将不平衡的影响与其他数据复杂度因素分离？
• RQ3 BI³在不同数据集和分类器上，与不平衡恢复方法带来的实际性能增益的相关性如何？
• RQ4 与不平衡比率（IR）相比，BI³是否是判断是否应用不平衡恢复技术的更优依据？
• RQ5 IBI³能否作为不平衡数据集中少数类样本的实例级复杂度度量？

主要发现

• 在合成数据集和真实基准数据集上，BI³与不平衡恢复方法带来的F1分数提升高度相关（r ≈ 0.85–0.95）。
• IBI³与恢复方法带来的预测分数提升显著相关，证实其作为实例级不平衡复杂度度量的有效性。
• IBI³计算的最优k值约为5，因为相关性在k=5时达到峰值，并在此后下降。
• IBI³计算中采用灵活k选择相比固定k设置具有更高的相关性，验证了其有效性。
• BI³值较低的数据集在应用恢复方法后改善微弱，表明不平衡并非主要障碍。
• BI³成功识别出haberman和kddcup-land_vs_satan等数据集适合应用恢复方法，尽管其IR中等，证实了BI³优于IR的优越性。