[论文解读] Frustrated with Replicating Claims of a Shared Model? A Solution

Abdul Dakkak, Cheng Li+2 more|arXiv (Cornell University)|Nov 24, 2018

Machine Learning and Data Classification参考文献 47被引用 7

一句话总结

本文提出了 MLModelScope，一种标准化规范与运行时系统，通过自动化环境配置和参数管理，实现深度学习模型的可重复、可复现评估。该系统减少了因软硬件不一致导致的复现失败问题，在多种系统和配置下实现了近乎一致的准确率（Top-1 准确率差异在 0.55% 以内，Top-5 准确率差异在 0.31% 以内）。

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) innovations are being introduced at such a rapid pace that model owners and evaluators are hard-pressed analyzing and studying them. This is exacerbated by the complicated procedures for evaluation. The lack of standard systems and efficient techniques for specifying and provisioning ML/DL evaluation is the main cause of this "pain point". This work discusses common pitfalls for replicating DL model evaluation, and shows that these subtle pitfalls can affect both accuracy and performance. It then proposes a solution to remedy these pitfalls called MLModelScope, a specification for repeatable model evaluation and a runtime to provision and measure experiments. We show that by easing the model specification and evaluation process, MLModelScope facilitates rapid adoption of ML/DL innovations.

研究动机与目标

• 解决由于硬件、软件及配置设置不一致，导致深度学习模型结果难以复现的广泛挑战。
• 减轻模型提供者手动记录复杂评估流程的负担。
• 使模型评估者能够在无需大量调试或逆向工程的情况下，可靠地复现结果。
• 在不同框架、硬件平台和软件栈之间实现模型评估的标准化。
• 支持在多样化环境中对深度学习模型进行可扩展、可扩展且一致的比较。

提出的方法

• 设计基于文本的规范格式，以标准化模型评估参数，包括模型架构、输入预处理和推理设置。
• 构建运行时系统，解析规范文件，自动配置正确的硬件/软件堆栈以进行评估。
• 支持多种深度学习框架（如 PyTorch、TensorFlow、Caffe）和硬件平台（x86、ARM、Power、CPU、GPU、FPGA）。
• 实现数据收集管道，聚合跨系统评估结果，用于分析与比较。
• 集成溯源追踪功能，记录执行参数，确保可复现性。
• 利用规范文件检测并防止常见陷阱，如错误的输入中心裁剪、数据布局错误以及框架特定的配置问题。

实验结果

研究问题

• RQ1 在不同系统和配置下，深度学习模型评估失败的主要原因是什么？
• RQ2 如何实现模型评估的标准化，以确保在多样化硬件和软件栈中的一致性与可复现性？
• RQ3 细微的配置参数（如输入预处理和数据布局）在模型评估中对准确率差异起到了何种作用？
• RQ4 基于规范的方法是否能显著减少模型提供者为共享可复现模型而需提供的详尽文档？
• RQ5 与手动评估相比，所提出系统在最小化不同环境中准确率差异方面的有效性如何？

主要发现

• MLModelScope 在多个 AWS P3 实例上复现了报告的模型准确率，Top-1 准确率差异在 0.55% 以内，Top-5 准确率差异在 0.31% 以内。
• 未能正确应用输入中心裁剪，导致 Top-1 准确率下降 1.45%–7.5%，Top-5 准确率下降 0.36%–4.22%。
• 数据布局问题导致准确率极低，证实其对模型评估可靠性具有关键影响。
• 即使代码和权重已开源，模型评估者仍因未报告或错误的配置参数而频繁无法复现结果。
• 该系统成功缓解了常见陷阱，如框架版本错误、依赖缺失和预处理不一致，实现了在多样化环境中的稳定评估。
• 基于规范的方法显著降低了手动调试和逆向工程的需求，大幅降低了模型复现的门槛。