[论文解读] A survey on learning from imbalanced data streams: taxonomy, challenges, empirical study, and reproducible experimental framework

Gabriel Aguiar, Bartosz Krawczyk+1 more|arXiv (Cornell University)|Apr 7, 2022

Data Stream Mining Techniques被引用 7

一句话总结

本文提出了一套标准化、可复现的实验框架，用于评估机器学习算法在类别不平衡数据流上的表现，整合了动态不平衡比率、概念漂移以及数据层面的难度。在515种多样的流场景中评估了24种最先进分类器，结果表明动态集成方法（如ROSE）在鲁棒性方面优于其他方法，而欠采样在多分类场景中表现较差。

ABSTRACT

Class imbalance poses new challenges when it comes to classifying data streams. Many algorithms recently proposed in the literature tackle this problem using a variety of data-level, algorithm-level, and ensemble approaches. However, there is a lack of standardized and agreed-upon procedures and benchmarks on how to evaluate these algorithms. This work proposes a standardized, exhaustive, and comprehensive experimental framework to evaluate algorithms in a collection of diverse and challenging imbalanced data stream scenarios. The experimental study evaluates 24 state-of-the-art data streams algorithms on 515 imbalanced data streams that combine static and dynamic class imbalance ratios, instance-level difficulties, concept drift, real-world and semi-synthetic datasets in binary and multi-class scenarios. This leads to a large-scale experimental study comparing state-of-the-art classifiers in the data stream mining domain. We discuss the advantages and disadvantages of state-of-the-art classifiers in each of these scenarios and we provide general recommendations to end-users for selecting the best algorithms for imbalanced data streams. Additionally, we formulate open challenges and future directions for this domain. Our experimental framework is fully reproducible and easy to extend with new methods. This way, we propose a standardized approach to conducting experiments in imbalanced data streams that can be used by other researchers to create complete, trustworthy, and fair evaluation of newly proposed methods. Our experimental framework can be downloaded from https://github.com/canoalberto/imbalanced-streams.

研究动机与目标

• 为解决文献中类别不平衡数据流学习缺乏标准化基准和评估流程的问题。
• 开发一个全面、可扩展且可复现的实验框架，用于对类别不平衡数据流场景中的分类器进行整体评估。
• 开展大规模实证研究，比较24种最先进算法在多样化且具有挑战性的数据流条件下的表现。
• 基于特定数据流特征（如不平衡比率、概念漂移和类别分布）提供选择最优算法的可操作建议。
• 通过提供社区可用的基准模板，为未来数据流挖掘中的可复现研究奠定基础。

提出的方法

• 设计一个标准化的实验框架，支持二元和多分类的类别不平衡数据流，可配置静态/动态不平衡、概念漂移以及数据层面的难度组合。
• 整合真实世界和半合成数据集，以反映数据流挖掘中的实际挑战。
• 在515种不同的流配置中实现并评估24种最先进分类器，包括集成、重采样和算法自适应方法。
• 使用F1-score、G-mean和AUC-PR等指标评估在不同不平衡和漂移条件下的性能表现。
• 应用统计检验（如Friedman检验和事后检验）以验证性能差异，并确保研究发现的稳健性。
• 将完整框架、数据集和代码托管在GitHub（https://github.com/canoalberto/imbalanced-streams）上，供社区复用和扩展。

实验结果

研究问题

• RQ1 在数据流中不同程度的静态和动态类别不平衡下，哪些算法族（数据层面、算法层面、集成）表现最佳？
• RQ2 概念漂移的存在如何与类别不平衡相互作用，进而影响分类器性能？
• RQ3 数据层面的难度（如类别重叠、稀有实例和噪声）对类别不平衡流分类器鲁棒性有何影响？
• RQ4 在算法有效性和稳定性方面，多分类场景与二分类场景相比如何？
• RQ5 哪些分类器在综合难度（如不平衡 + 漂移 + 噪声）下表现出一致的性能，原因是什么？

主要发现

• 动态集成方法（如ROSE）在多样化且复杂的流场景中表现出卓越的鲁棒性，优于静态和数据层面的方法。
• 欠采样技术在多类别不平衡数据流中表现显著下降，尤其在概念漂移和动态不平衡条件下。
• 结合在线袋装与重采样技术的集成方法（如SMOTE-OB、OSMOTE）在高漂移环境中表现出高稳定性和F1得分。
• 依赖固定重采样策略的分类器无法适应变化的不平衡比率，导致在动态设置下性能崩溃。
• 概念漂移的引入显著降低了非自适应模型的性能，即使它们在静态不平衡条件下表现良好。
• 所提出的实验框架实现了稳定、可复现且透明的评估，结果呈现出清晰的性能趋势，并为实践者提供了可操作的建议。