[论文解读] Handling Inter-class and Intra-class Imbalance in Class-imbalanced Learning

Zhining Liu, Pengfei Wei+6 more|arXiv (Cornell University)|Nov 24, 2021

Imbalanced Data Classification Techniques参考文献 50被引用 9

一句话总结

本文提出 DuBE（Duple-Balanced Ensemble），一种统一框架，用于处理不平衡学习中的类别间与类别内不平衡问题。通过基于误差的类别内平衡机制显式建模样本难度，并将其与类别间重采样/重加权相结合，DuBE 在多种数据复杂度下提升了模型的鲁棒性与性能，在基准数据集上的表现优于现有方法，尤其在少数类 F1 分数上取得了显著提升。

ABSTRACT

Class-imbalance is a common problem in machine learning practice. Typical Imbalanced Learning (IL) methods balance the data via intuitive class-wise resampling or reweighting. However, previous studies suggest that beyond class-imbalance, intrinsic data difficulty factors like overlapping, noise, and small disjuncts also play critical roles. To handle them, many solutions have been proposed (e.g., noise removal, borderline sampling, hard example mining) but are still confined to a specific factor and cannot generalize to broader scenarios, which raises an interesting question: how to handle both class-agnostic difficulties and the class-imbalance in a unified way? To answer this, we consider both class-imbalance and its orthogonal: intra-class imbalance, i.e., the imbalanced distribution over easy and hard samples. Such distribution naturally reflects the complex influence of class-agnostic intrinsic data difficulties thus providing a new unified view for identifying and handling these factors during learning. From this perspective, we discuss the pros and cons of existing IL solutions and further propose new balancing techniques for more robust and efficient IL. Finally, we wrap up all solutions into a generic ensemble IL framework, namely DuBE (Duple-Balanced Ensemble). It features explicit and efficient inter-\&intra-class balancing as well as easy extension with standardized APIs. Extensive experiments validate the effectiveness of DuBE. Code, examples, and documentation are available at https://github.com/AnonAuthorAI/duplebalance and https://duplebalance.readthedocs.io.

研究动机与目标

• 解决现有不平衡学习方法仅关注类别间不平衡而忽略类别内难度差异的局限性。
• 识别并统一噪声、重叠和小离散集等正交数据复杂度因素，将其整合到类别内不平衡的概念下。
• 开发一种通用且可扩展的集成框架，显式平衡类别间与类别内不平衡，以提升模型鲁棒性与泛化能力。
• 对现有类别间与类别内平衡技术及其在现实场景中的权衡关系进行系统性评估。

提出的方法

• 将类别内不平衡定义为数据复杂度的更高阶指标，反映每个类别内部易样本与难样本的分布情况。
• 提出双平衡机制：显式的类别间重采样/重加权，以及基于模型预测不确定性的误差驱动类别内难样本挖掘。
• 设计 DuBE 为一种通用的迭代式集成框架，结合多个基分类器，采用自适应采样与损失重加权策略。
• 采用标准化 API，便于集成各类平衡策略，支持类别间与类别内组件的即插即用式扩展。
• 以预测误差作为样本难度的代理指标，在训练过程中动态识别并强调难样本。
• 通过基于误差的重加权进行迭代训练，逐步引导模型聚焦于难样本，同时保持类别层面的平衡。

实验结果

研究问题

• RQ1 内在数据难度因素（如噪声、重叠和小离散集）如何在类别基数不平衡之外导致模型偏差？
• RQ2 类别内不平衡（即类别内易样本与难样本分布不均）能否作为统一多种数据复杂度因素的指标？
• RQ3 当单独或组合应用现有类别间与类别内平衡方法时，其局限性是什么？
• RQ4 能否通过一个统一框架显式平衡类别间与类别内不平衡，实现更优的泛化能力与鲁棒性？

主要发现

• DuBE 在多个不平衡基准数据集上达到最先进性能，相比基线方法在少数类 F1 分数上取得显著提升。
• 通过预测误差分布衡量的类别内不平衡，能有效捕捉噪声、重叠和小离散集等数据复杂度因素的综合影响。
• 仅采用难样本挖掘会降低在噪声数据集上的性能，证实了自适应、误差感知平衡策略的必要性。
• 所提出的框架通过标准化 API 支持各类平衡组件的便捷扩展与即插即用，提升了可复现性与可用性。
• 实证结果表明，联合进行类别间与类别内平衡可获得更稳定且准确的模型，尤其在具有复杂数据分布的真实场景中表现更优。