[论文解读] Evaluate & Evaluation on the Hub: Better Best Practices for Data and Model Measurements

Leandro von Werra, Lewis Tunstall+17 more|arXiv (Cornell University)|Sep 30, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文介绍了 Evaluate 和 Hub 上的 Evaluation——开源工具，旨在提升机器学习模型与数据集评估的可复现性、集中化程度和覆盖范围。Evaluate 库通过统一接口标准化了超过 50 项指标，而 Hub 上的 Evaluation 则实现了无需代码、大规模的模型与数据集评估，涵盖 75,000 多个模型和 11,000 余组数据集，显著简化了机器学习社区中的基准测试与模型选择流程。

ABSTRACT

Evaluation is a key part of machine learning (ML), yet there is a lack of support and tooling to enable its informed and systematic practice. We introduce Evaluate and Evaluation on the Hub --a set of tools to facilitate the evaluation of models and datasets in ML. Evaluate is a library to support best practices for measurements, metrics, and comparisons of data and models. Its goal is to support reproducibility of evaluation, centralize and document the evaluation process, and broaden evaluation to cover more facets of model performance. It includes over 50 efficient canonical implementations for a variety of domains and scenarios, interactive documentation, and the ability to easily share implementations and outcomes. The library is available at https://github.com/huggingface/evaluate. In addition, we introduce Evaluation on the Hub, a platform that enables the large-scale evaluation of over 75,000 models and 11,000 datasets on the Hugging Face Hub, for free, at the click of a button. Evaluation on the Hub is available at https://huggingface.co/autoevaluate.

研究动机与目标

• 解决机器学习评估实践中可复现性不足、集中化程度低以及覆盖范围有限的问题。
• 通过在一个开源库中统一指标、基准测试与评估工作流，减少评估工具链的碎片化。
• 通过 Hugging Face Hub 上的集中化平台，实现大规模、无代码的模型与数据集评估。
• 通过标准化指标实现方式与版本控制，提升模型对比的透明度与可信度。
• 支持超越准确率的更广泛评估，包括效率、公平性与鲁棒性等关键性能维度，以指导更优的模型部署决策。

提出的方法

• 开发了 Evaluate，一个开源 Python 库，提供超过 50 项在不同机器学习领域中经过版本控制、文档齐全的标准化评估指标实现。
• 设计了统一、一致的指标、度量与比较接口，以减少 API 碎片化与实现不一致问题。
• 将 Evaluate 库与 Hugging Face Hub 集成，实现评估组件的集中存储、共享与版本控制。
• 构建了 Hub 上的 Evaluation，一个无代码平台，利用 Evaluate 库自动评估模型在数据集上的表现，结果发布至公开排行榜。
• 通过文档卡片与即插即用的加载机制，支持社区贡献新指标、度量与比较方式。
• 提供自动化评估流水线，包含延迟与吞吐量测量，支持真实场景下的部署决策。

实验结果

研究问题

• RQ1 如何提升不同实验与实现之间机器学习模型评估的可复现性？
• RQ2 在机器学习生态系统中，集中化与标准化评估指标及数据集面临哪些关键挑战？
• RQ3 如何将评估覆盖范围从准确率扩展至效率、公平性、鲁棒性等关键性能维度？
• RQ4 无代码、可扩展的平台在普及模型与数据集基准测试方面发挥何种作用？
• RQ5 社区驱动、版本控制的评估工具链如何减少重复工作并提升报告结果的可信度？

主要发现

• Evaluate 库提供了超过 50 个高效、标准的评估指标实现，确保在不同机器学习工作流中的一致性与可复现性。
• Hub 上的 Evaluation 实现了单击操作即可自动完成对超过 75,000 个模型与 11,000 余组数据集的大规模评估，显著降低了基准测试的门槛。
• 该平台支持无代码评估，使研究人员无需编写代码即可在新数据集上验证模型性能。
• Hub 上的模型排行榜为跨任务的模型比较提供了可信、集中化的信息源，评估结果在执行后自动更新。
• 通过标准化的文档卡片与插件式加载机制，社区贡献得到优化，新评估组件的采用率与可维护性显著提升。
• 通过支持指标与数据集的版本追踪，工具提升了透明度，即使底层代码发生变化，也能保障可复现性。