[论文解读] Deepchecks: A Library for Testing and Validating Machine Learning Models and Data

Shir Chorev, Philip Tannor+8 more|arXiv (Cornell University)|Mar 16, 2022

Machine Learning and Data Classification被引用 16

一句话总结

Deepchecks 是一个 Python 库，提供了一个全面且可扩展的框架，通过自动化检查、条件和套件来验证机器学习模型和数据。它在机器学习生命周期中集成检查，检测数据漂移、数据泄露、概念漂移以及模型性能退化等问题，支持 scikit-learn、PyTorch 和表格数据工作流。

ABSTRACT

This paper presents Deepchecks, a Python library for comprehensively validating machine learning models and data. Our goal is to provide an easy-to-use library comprising of many checks related to various types of issues, such as model predictive performance, data integrity, data distribution mismatches, and more. The package is distributed under the GNU Affero General Public License (AGPL) and relies on core libraries from the scientific Python ecosystem: scikit-learn, PyTorch, NumPy, pandas, and SciPy. Source code, documentation, examples, and an extensive user guide can be found at \url{https://github.com/deepchecks/deepchecks} and \url{https://docs.deepchecks.com/}.

研究动机与目标

• 为解决机器学习流水线中系统性验证的缺失，尤其是在模型故障可能带来高影响后果的生产环境中。
• 提供一个统一且可扩展的框架，用于检测常见的机器学习问题，如数据漂移、数据泄露和模型性能退化。
• 支持从数据完整性检查到训练前，再到训练后模型评估与监控的端到端验证。
• 使实践者能够通过与现有机器学习工作流集成的自动化、可自定义检查和条件，早期检测和诊断问题。
• 通过提供系统化、开源的模型和数据验证解决方案，提升敏感领域中模型的可靠性和可信度。

提出的方法

• 该库围绕四个核心组件构建：检查、条件、套件和数据/模型容器，实现模块化和可组合的验证。
• 检查是可重用的验证单元，用于分析数据或模型行为的特定方面，例如分布漂移、数据完整性或性能指标。
• 条件是附加到检查的验证规则，根据阈值或逻辑标准返回通过/失败/警告状态，实现自动化验证。
• 套件是按顺序组织的检查和条件集合，可一起执行，生成模型和数据验证的综合摘要报告。
• 该库与标准机器学习生态系统集成，包括 scikit-learn、PyTorch、pandas、NumPy 和 SciPy，确保与常见机器学习工作流的兼容性。
• 检查使用成熟的技术，例如用于数值漂移的地球移动者距离（Earth Mover’s Distance）、用于分类特征的群体稳定性指数（Population Stability Index），以及用于特征重要性的置换重要性（permutation importance）。

实验结果

研究问题

• RQ1 如何系统性地验证机器学习工作流，以在模型训练前检测数据完整性问题？
• RQ2 在实际模型部署中，哪些自动化机制可以检测数据漂移和概念漂移？
• RQ3 如何通过与简单基线模型的对比来评估和基准化模型性能，以检测过拟合或欠拟合？
• RQ4 条件和阈值在将诊断性检查转化为可操作的验证规则中起到什么作用？
• RQ5 如何设计一个模块化、可扩展的框架，以支持不同流水线阶段的多样化机器学习用例？

主要发现

• Deepchecks 能够检测数据泄露，通过识别出现在训练集中的测试样本，这是常见但常被忽视的问题。
• 该库使用地球移动者距离和群体稳定性指数等指标，检测训练集与测试集之间的分布漂移。
• 它能检测数据完整性问题，如重复样本、数据类型不一致，以及仅具有一个唯一值的特征。
• 该库通过与简单基线模型（如单棵决策树）的性能基准对比，支持模型评估。
• 条件可通过预设阈值（如标记超过 5% 的重复样本）自动返回通过、失败或警告状态，实现自动化验证。
• 该框架具有可扩展性，通过标准 scikit-learn API 约定，支持与 XGBoost、LightGBM、CatBoost 和 PyTorch 等主流机器学习框架集成。