[论文解读] IMBENS: Ensemble Class-imbalanced Learning in Python

Zhining Liu, Kang, Jian+2 more|arXiv (Cornell University)|Nov 24, 2021

Imbalanced Data Classification Techniques参考文献 16被引用 9

一句话总结

该论文介绍 imbens，一个用于集成类别不平衡学习（EIL）的 Python 开源工具箱，提供 14 种已实现的 EIL 方法，并具有与 scikit-learn 兼容的 API。它通过可自定义的重采样调度器、代价矩阵、详细日志记录和可视化工具，增强模型训练与评估，实现真实应用场景中对 EIL 算法的灵活、可复现的基准测试。

ABSTRACT

imbalanced-ensemble, abbreviated as imbens, is an open-source Python toolbox for leveraging the power of ensemble learning to address the class imbalance problem. It provides standard implementations of popular ensemble imbalanced learning (EIL) methods with extended features and utility functions. These ensemble methods include resampling-based, e.g., under/over-sampling, and reweighting-based, e.g., cost-sensitive learning. Beyond the implementation, we empower EIL algorithms with new functionalities like customizable resampling scheduler and verbose logging, thus enabling more flexible training and evaluating strategies. The package was developed under a simple, well-documented API design that follows scikit-learn for increased ease of use. imbens is released under the MIT open-source license and can be installed from Python Package Index (PyPI) or https://github.com/ZhiningLiu1998/imbalanced-ensemble.

研究动机与目标

• 解决集成类别不平衡学习（EIL）方法在 Python 中缺乏全面、标准化且可扩展实现的问题。
• 提供统一的、与 scikit-learn 兼容的 API，以提升易用性并促进与现有机器学习工作流的集成。
• 通过可自定义的重采样调度器、代价矩阵和详细日志记录，实现灵活的训练与评估。
• 支持可扩展性，使研究人员能够通过继承与多态性实现新的 EIL 算法。
• 通过内置的实用函数和可视化工具，促进 EIL 模型的基准测试与比较。

提出的方法

• 基于重采样（欠采样/过采样）和重加权（代价敏感学习）实现 14 种 EIL 方法，采用袋装和提升集成策略。
• 设计模块化架构，使 EIL 模型继承自基类，将不平衡处理（如采样、代价矩阵）与集成训练解耦。
• 采用类似 scikit-learn 的 API，包含 fit、predict 和 predict_proba 方法，实现与现有机器学习流水线的无缝集成。
• 引入扩展的 fit 参数，如 target_label、n_target_samples、balancing_schedule 和 cost_matrix，以实现动态采样与代价控制。
• 提供实用函数（如 generate_imbalance_data、evaluate_print）和可视化工具（如 ImbalancedEnsembleVisualizer），用于模型评估与比较。
• 通过 CircleCI 实现 96% 的测试覆盖率、PEP8 兼容性以及 CI/CD，确保代码质量，文档托管于 ReadTheDocs。

实验结果

研究问题

• RQ1 如何在 Python 中系统性地实现并暴露一致、用户友好的 EIL 方法 API？
• RQ2 EIL 工作流中支持灵活、动态重采样与代价敏感训练，需要哪些增强？
• RQ3 如何利用标准化指标和可视化工具有效评估与比较 EIL 模型？
• RQ4 模块化、可扩展框架在多大程度上能降低实现与基准测试新 EIL 算法的门槛？
• RQ5 详细日志记录与可自定义训练参数的集成，在多大程度上提升了 EIL 模型开发的透明度与控制力？

主要发现

• imbens 工具箱实现了 14 种流行的 EIL 方法，包括 SelfPacedEnsemble、SmoteBoost 和 BalancedRandomForest，且完全兼容 scikit-learn。
• 该软件包实现了 96% 的测试覆盖率，并遵循 PEP8 和 CI/CD 最佳实践，确保代码质量与可维护性。
• 统一的 API 和实用函数使用户能够以极少代码生成合成的不平衡数据、评估模型性能并可视化结果。
• ImbalancedEnsembleVisualizer 工具通过性能折线图和混淆矩阵热力图支持多模型比较，提升可解释性。
• 该工具箱已被多个开源项目（如 Auto_ViML、featurewiz）采用，每月 PyPI 下载量超过 1,000 次，表明社区采纳度高。
• 该项目采用 MIT 许可证发布，GitHub 和 ReadTheDocs 上均有活跃的贡献与文档支持，保障长期可持续性与可扩展性。