[论文解读] Under-bagging Nearest Neighbors for Imbalanced Classification

Hanyuan Hang, Yuchao Cai+2 more|arXiv (Cornell University)|Sep 1, 2021

Imbalanced Data Classification Techniques参考文献 83被引用 7

一句话总结

本文提出了一种名为 under-bagging k-NN 的集成方法，通过从多数类中创建平衡的自助样本，确保每个子样本的大小与少数类相等，从而在类别不平衡分类中提升性能。理论上，在温和的光滑性和边界条件假设下，该方法实现了召回率算术平均值（AM）的最优收敛速率，同时由于子样本更小且集成轮次更少，显著降低了时间复杂度，且保持了具有竞争力的性能。

ABSTRACT

In this paper, we propose an ensemble learning algorithm called extit{under-bagging $k$-nearest neighbors} ( extit{under-bagging $k$-NN}) for imbalanced classification problems. On the theoretical side, by developing a new learning theory analysis, we show that with properly chosen parameters, i.e., the number of nearest neighbors $k$, the expected sub-sample size $s$, and the bagging rounds $B$, optimal convergence rates for under-bagging $k$-NN can be achieved under mild assumptions w.r.t.~the arithmetic mean (AM) of recalls. Moreover, we show that with a relatively small $B$, the expected sub-sample size $s$ can be much smaller than the number of training data $n$ at each bagging round, and the number of nearest neighbors $k$ can be reduced simultaneously, especially when the data are highly imbalanced, which leads to substantially lower time complexity and roughly the same space complexity. On the practical side, we conduct numerical experiments to verify the theoretical results on the benefits of the under-bagging technique by the promising AM performance and efficiency of our proposed algorithm.

研究动机与目标

• 为解决标准 k-NN 在类别不平衡数据集上表现不佳的问题，其中多数类主导了预测结果。
• 开发一种理论基础坚实的集成方法，在保持 k-NN 简洁性的同时提升少数类的召回率。
• 通过使用更小的子样本和更少的集成轮次来降低计算复杂度，同时不牺牲性能。
• 在 Hölder 光滑性和边界条件下，为召回率的算术平均值（AM）建立最优收敛速率。
• 为适用于其他基础分类器的 under-bagging 技术提供学习理论基础。

提出的方法

• 该方法通过从多数类中生成自助子样本，构建 k-NN 分类器的集成，使得每个子样本的大小等于少数类的大小。
• 在每次集成轮次中，通过将少数类与从多数类中随机抽取的一个子样本组合，形成一个平衡的训练集。
• 最终的预测结果通过集成中所有基分类器的后验概率平均得到。
• 理论分析基于真实回归函数的 Hölder 光滑性以及边界条件，推导出收敛速率。
• 关键参数包括最近邻数 $k$、子样本大小 $s$ 和集成轮次 $B$，这些参数均经过优化以实现最优收敛。
• 该方法避免了模型训练，保留了 k-NN 的懒惰学习特性，同时增强了对类别不平衡的鲁棒性。

实验结果

研究问题

• RQ1 under-bagging k-NN 是否能在类别不平衡分类中实现召回率算术平均值（AM）的最优收敛速率？
• RQ2 子样本大小 $s$ 和集成轮次 $B$ 的选择如何影响收敛速率和计算复杂度？
• RQ3 under-bagging k-NN 是否能在显著降低时间复杂度的同时，实现与标准 k-NN 相当的性能？
• RQ4 在温和的光滑性和边界条件下，能否为 under-bagging k-NN 建立理论保证？
• RQ5 under-bagging 是否能提升 k-NN 在高度不平衡数据集上的泛化性能？

主要发现

• 在 Hölder 光滑性和边界条件假设下，under-bagging k-NN 实现了召回率算术平均值（AM）的最优收敛速率 $\mathcal{O}\bigl((\log n/n)^{\alpha/(2\alpha+d)}\bigr)$。
• 在合理选择参数的情况下，期望的子样本大小 $s$ 可远小于完整训练集大小 $n$，从而显著降低时间复杂度。
• 在高度不平衡设置中，可同时减少最近邻数 $k$，进一步降低计算成本。
• 该方法在保持与标准 k-NN 相当的空间复杂度的同时，实现了更高的效率和性能。
• 当 $d > 2\alpha$ 时，收敛速率为 $\mathcal{O}\bigl((\log^2(Mn_{(1)})/Mn_{(1)})^{\alpha/(2\alpha+d)}\bigr)$，在温和假设下可简化为 $\mathcal{O}\bigl((\log n/n)^{\alpha/(2\alpha+d)}\bigr)$。
• 理论分析证实，under-bagging k-NN 在相对较小的 $B$ 值下即可实现最优收敛速率，使其在大规模不平衡数据集上具备可扩展性和实用性。