[论文解读] Introducing ReQuEST: an Open Platform for Reproducible and Quality-Efficient Systems-ML Tournaments

Thierry Moreau, Anton Lokhmotov+1 more|arXiv (Cornell University)|Jan 19, 2018

Machine Learning and Data Classification参考文献 1被引用 5

一句话总结

ReQuEST 引入了一个开放、可复现的系统-机器学习协同设计竞赛平台，通过 Collective Knowledge 框架和 ACM 艺术品评估方法论，标准化了跨硬件/软件堆栈的评估。该平台支持在不同平台上对模型进行实时、多目标基准测试，重点关注速度、精度、能效和成本之间的帕累托最优权衡，推动可复用、可比较且经社区验证的研究成果。

ABSTRACT

Co-designing efficient machine learning based systems across the whole hardware/software stack to trade off speed, accuracy, energy and costs is becoming extremely complex and time consuming. Researchers often struggle to evaluate and compare different published works across rapidly evolving software frameworks, heterogeneous hardware platforms, compilers, libraries, algorithms, data sets, models, and environments. We present our community effort to develop an open co-design tournament platform with an online public scoreboard. It will gradually incorporate best research practices while providing a common way for multidisciplinary researchers to optimize and compare the quality vs. efficiency Pareto optimality of various workloads on diverse and complete hardware/software systems. We want to leverage the open-source Collective Knowledge framework and the ACM artifact evaluation methodology to validate and share the complete machine learning system implementations in a standardized, portable, and reproducible fashion. We plan to hold regular multi-objective optimization and co-design tournaments for emerging workloads such as deep learning, starting with ASPLOS'18 (ACM conference on Architectural Support for Programming Languages and Operating Systems - the premier forum for multidisciplinary systems research spanning computer architecture and hardware, programming languages and compilers, operating systems and networking) to build a public repository of the most efficient machine learning algorithms and systems which can be easily customized, reused and built upon.

研究动机与目标

• 解决在不断演进的硬件、软件和框架背景下，系统-机器学习协同设计评估日益复杂且难以复现的问题。
• 建立一个标准化、社区驱动的平台，实现机器学习系统之间的公平、直接比较。
• 通过开源工作流和艺术品评估，促进研究成果的可复现性、可重用性和技术转移。
• 通过持续基准测试和优化质量与效率之间的权衡，支持跨多样化工作负载和平台的持续改进。
• 通过两年一度的研讨会和工业界反馈，促进系统、机器学习和硬件社区之间的协作。

提出的方法

• 该平台基于开源的 Collective Knowledge (CK) 框架构建，支持可移植、版本化和可重用的工作流，并提供统一的 JSON API。
• 整合了 ACM 艺术品评估方法论，以验证提交内容并确保在不同环境下的可复现性。
• 通过志愿者贡献实时生成实时排行榜，跟踪设备和框架之间的推理速度、能耗和成本等指标。
• 提交内容以可自定义的 CK 插件形式打包，包含模型、框架、数据集和硬件配置，实现一致的部署。
• 通过跟踪诸如精度、执行时间与内存占用等维度的帕累托最优解，支持多目标优化。
• 未来扩展将包括对模拟器、低层优化以及新兴硬件（如神经形态和模拟加速器）的支持。

实验结果

研究问题

• RQ1 如何在异构硬件和软件堆栈之间提升系统-机器学习协同设计的可复现性和可比性？
• RQ2 何种标准化工作流和评估方法论能够实现机器学习系统之间公平、自动化且持续的基准测试？
• RQ3 社区驱动的平台如何促进在速度、精度和成本方面帕累托最优系统设计的发现与重用？
• RQ4 实时、公开的排行榜和艺术品评估在提升研究透明度和技术转移方面发挥何种作用？
• RQ5 学术界和工业界的反馈如何塑造一个可持续、可扩展的协同设计平台的演进？

主要发现

• ReQuEST 利用由 Collective Knowledge 框架驱动的实时排行榜，实现了在多种框架、模型和设备上对深度学习推理的实时、公开基准测试。
• 该平台成功整合了 ACM 艺术品评估方法论，以验证提交内容并确保在不同系统配置下的可复现性。
• 通过 CK 标准化工作流和元数据，ReQuEST 促进了在异构平台上研究成果的可重用性和可定制性。
• 第一届 ReQuEST 研讨会与 ASPLOS 2018 同期举行，聚焦推理优化，并作为未来两年一度竞赛的试点。
• 该平台支持多维帕累托最优性分析，突出展示了在精度、速度、能效和成本之间实现有效平衡的解决方案。
• 正在利用学术界和工业界的反馈，扩展平台对新型硬件、指标和优化技术的支持。