[论文解读] MLModelScope: A Distributed Platform for ML Model Evaluation and Benchmarking at Scale

Abdul Dakkak, Cheng Li+2 more|arXiv (Cornell University)|Sep 25, 2019

Machine Learning in Materials Science参考文献 28被引用 4

一句话总结

MLModelScope 是一个开源的、与框架和硬件无关的平台，可实现机器学习模型的可扩展、可重复且公平的评估与基准测试。它通过网页、命令行和库接口支持分布式执行，并展示了流水线配置及软硬件堆栈对模型准确率和性能的影响。

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) innovations are being introduced at such a rapid pace that researchers are hard-pressed to analyze and study them. The complicated procedures for evaluating innovations, along with the lack of standard and efficient ways of specifying and provisioning ML/DL evaluation, is a major pain point for the community. This paper proposes MLModelScope, an open-source, framework/hardware agnostic, extensible and customizable design that enables repeatable, fair, and scalable model evaluation and benchmarking. We implement the distributed design with support for all major frameworks and hardware, and equip it with web, command-line, and library interfaces. To demonstrate MLModelScope's capabilities we perform parallel evaluation and show how subtle changes to model evaluation pipeline affects the accuracy and HW/SW stack choices affect performance.

研究动机与目标

• 解决机器学习/深度学习创新评估中缺乏标准化、高效且可复现方法的问题。
• 设计一个分布式的、可扩展且可定制的平台，支持所有主流机器学习框架和硬件加速器。
• 通过标准化的流水线和可复现的配置，实现公平且可扩展的模型评估。
• 提供多种访问接口——网页端、命令行和库接口——以提升在科研与生产工作流中的广泛可用性。
• 通过实证研究展示评估流水线设计和软硬件堆栈选择对模型准确率与性能指标的影响。

提出的方法

• 设计一种分布式架构，将模型评估逻辑与底层硬件和框架解耦。
• 实现基于插件的可扩展模型，以支持与主流机器学习框架（如 PyTorch、TensorFlow）和硬件加速器的集成。
• 提供标准化的配置模式，用于定义评估流水线，以实现可复现性和版本控制。
• 通过分布式任务调度器支持在异构硬件上并行执行模型评估。
• 通过网页界面提供交互式探索，通过命令行接口支持自动化，通过程序化库 API 实现集成。
• 基于所有测试运行中一致的数据加载、预处理和指标计算，确保评估的公平性。

实验结果

研究问题

• RQ1 如何在多样化的框架和硬件平台上实现机器学习模型评估的标准化与可扩展化？
• RQ2 评估流水线中的细微变化在多大程度上会影响模型准确率和性能指标？
• RQ3 在实际应用场景中，硬件和软件堆栈的选择如何影响模型推理与训练性能？
• RQ4 统一且可扩展的平台能否降低机器学习基准测试的复杂性并提升可复现性？
• RQ5 在不同评估流水线配置下，性能与准确率之间存在哪些权衡？

主要发现

• MLModelScope 支持在异构硬件上并行评估模型，显著缩短了基准测试时间。
• 评估流水线中的细微变化（如数据打乱或归一化）可能导致报告的模型准确率出现可测量的差异。
• 硬件和软件堆栈选择（包括 GPU 类型和框架版本）在模型推理与训练中导致了可测量的性能差异。
• 该平台的标准化配置与接口设计提升了基准测试工作流的可复现性，并减少了配置相关错误。
• 网页端和命令行接口使研究人员能够高效管理与监控大规模评估活动。
• 库接口支持无缝集成到现有的机器学习研究与 CI/CD 工作流中。