[论文解读] MLSys: The New Frontier of Machine Learning Systems

Alexander Ratner, Dan Alistarh+67 more|arXiv (Cornell University)|Mar 29, 2019

Big Data and Business Intelligence参考文献 2被引用 21

一句话总结

本文提出了MLSys，一个旨在弥合机器学习与系统研究之间鸿沟的新跨学科会议，致力于解决机器学习部署中的端到端挑战，如效率、公平性、鲁棒性和可用性。该会议引入了由机器学习与系统研究人员共同组成的程序委员会、严格的同行评审机制以及成果物评估，以加速机器学习与系统交叉领域的研究进展。

ABSTRACT

Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, MLSys, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.

研究动机与目标

• 解决由于硬件、软件和工程工作流程中的系统级瓶颈，导致机器学习理论潜力与实际部署之间日益扩大的差距。
• 培育一个专注于端到端机器学习系统的新研究社区，整合机器学习与系统领域专家的洞见。
• 应对机器学习应用中的实际问题，如成本、延迟、公平性、隐私、可解释性和可访问性，而不仅局限于预测准确性。
• 创建一个专门论坛——MLSys——使机器学习系统领域的跨学科研究得以蓬勃发展，并确保机器学习与系统专家在其中获得均衡代表。
• 通过成果物评估和严格、精选的评审流程（仿照顶级会议模式），推动可复现性并加速研究进展。

提出的方法

• 创立一个新会议MLSys，其程序委员会由机器学习与系统研究人员各占一半，以确保跨学科评审。
• 设计会议内容仅聚焦于机器学习与系统交叉领域的主题，排除宽泛的机器学习或仅系统方向的投稿。
• 采用严格、精选的同行评审流程，仿照机器学习与系统领域领先会议的模式。
• 引入成果物评估机制，以确保可复现性并加速机器学习系统研究的进展。
• 借鉴在主要机器学习与系统会议（如NeurIPS、OSDI、SIGMOD）上举办的卫星研讨会的成功经验，以建立信誉和推动发展。
• 成立指导委员会，由来自学术界和产业界的知名领袖组成，以指导会议的愿景和长期可持续发展。

实验结果

研究问题

• RQ1 我们如何创建一个可持续的、跨学科的研究论坛，以有效弥合机器学习与系统研究社区之间的鸿沟？
• RQ2 在大规模部署机器学习系统时，其端到端的关键挑战是什么，包括成本、延迟、公平性和鲁棒性？
• RQ3 如何设计机器学习系统，使其对非专家用户也易于使用，同时保持高性能和高可靠性？
• RQ4 成果物评估与可复现性在加速机器学习系统研究进展中扮演何种角色？
• RQ5 当系统研究与机器学习研究从一开始就进行整合时，会涌现出哪些设计原则和最佳实践？

主要发现

• MLSys的创建已确立了一个全新的、专注的跨学科研究论坛，聚焦于机器学习与系统研究的交叉领域。
• 该会议已成功组建了一个强大且平衡的程序委员会，实现了机器学习与系统专家的对等代表。
• MLSys已采用与顶级会议一致的严格、精选的评审流程，涵盖机器学习与系统领域。
• 成果物评估的引入促进了研究的可复现性，并加速了机器学习系统研究的进展。
• 该倡议已获得机器学习与系统领域领军人物的广泛支持，包括Jeff Dean、Yann LeCun和Michael I. Jordan。
• 该会议有望成为解决端到端机器学习系统挑战的中心枢纽，涵盖从硬件加速到伦理化部署的全栈问题。