[논문 리뷰] MLSys: The New Frontier of Machine Learning Systems

Alexander Ratner, Dan Alistarh외 67명|arXiv (Cornell University)|2019. 03. 29.

Big Data and Business Intelligence참고 문헌 2인용 수 21

한 줄 요약

이 논문은 기계학습과 시스템 연구를 연결하는 새로운 다학문적 컨퍼런스인 MLSys를 제안하며, 효율성, 공정성, 내구성, 사용성 등의 전 스택 기계학습 배포 과제를 해결한다. 이는 공동 프로그램 위원회, 철저한 동료 검토, 아티팩트 평가를 통해 기계학습과 시스템의 교차 분야에서 연구를 가속화한다.

ABSTRACT

Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, MLSys, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.

연구 동기 및 목표

• 하드웨어, 소프트웨어, 엔지니어링 워크플로우의 시스템 수준의 제약으로 인해 기계학습의 이론적 약속과 실생활 배포 사이의 격차가 커지는 것을 해결하기 위해.
• 기계학습과 시스템 공동체의 통찰을 통합하여 전 스택 기계학습 시스템에 초점을 맞춘 새로운 연구 공동체를 조성하기 위해.
• 예측 정확도를 넘어서 비용, 지연 시간, 공정성, 프라이버시, 해석 가능성, 접근성과 같은 실용적 고려사항을 해결하기 위해.
• 기계학습과 시스템 전문가 간 균형 잡힌 대표성을 갖춘 전용 포럼인 MLSys를 만들기 위해.
• 최상위 컨퍼런스를 모델로 삼은 철저하고 선택적인 검토 과정과 아티팩트 평가를 통해 재현 가능성과 빠른 진전을 촉진하기 위해.

제안 방법

• 기계학습과 시스템 연구자들이 동일하게 참여하는 프로그램 위원회를 갖춘 새로운 컨퍼런스인 MLSys를 설립하여 다학문적 검토를 보장한다.
• 기계학습과 시스템의 교차 분야에만 집중하는 컨퍼런스로 설계하여 광범위한 기계학습 또는 시스템 전용 제출을 배제한다.
• 기계학습과 시스템 분야의 선도적 컨퍼런스를 모델로 삼은 철저하고 선택적인 동료 검토 과정을 채택한다.
• 재현 가능성을 보장하고 기계학습 시스템 연구의 진전을 가속화하기 위해 아티팩트 평가를 통합한다.
• 주요 기계학습 및 시스템 컨퍼런스(예: NeurIPS, OSDI, SIGMOD)의 부록 워크숍 성공 사례를 바탕으로 신뢰도와 추진력을 확보한다.
• 학계와 산업계의 주요 리더들이 포함된 스텝 위원회를 구성하여 컨퍼런스의 비전과 장기적 지속 가능성을 이끌어가도록 한다.

실험 결과

연구 질문

• RQ1 기계학습과 시스템 공동체 사이의 격차를 효과적으로 해소할 수 있는 지속 가능한 다학문적 연구 포럼를 어떻게 만들 수 있는가?
• RQ2 비용, 지연 시간, 공정성, 내구성 등을 포함한 스케일업 배포 시 전 스택 과제는 무엇인가?
• RQ3 고성능과 신뢰성을 유지하면서도 비전문가에게도 접근 가능한 기계학습 시스템은 어떻게 설계할 수 있는가?
• RQ4 아티팩트 평가와 재현 가능성은 기계학습 시스템 연구의 진전을 가속화하는 데 어떤 역할을 하는가?
• RQ5 시스템 및 기계학습 연구가 초기 단계부터 통합될 때 도출되는 설계 원칙과 최선의 실천 방법은 무엇인가?

주요 결과

• MLSys의 창설은 기계학습과 시스템의 교차 분야에서 새로운 전용 연구 포럼를 확립했다.
• 컨퍼런스는 기계학습과 시스템 전문가가 균형 잡힌 비율로 참여하는 강력한 프로그램 위원회를 성공적으로 확보했다.
• MLSys는 기계학습 및 시스템 분야의 최상위 컨퍼런스와 동일한 수준의 철저하고 선택적인 검토 과정을 채택했다.
• 아티팩트 평가의 포함은 재현 가능성을 증진하고 기계학습 시스템 연구의 진전을 가속화한다.
• 이니셔티브는 제프 딘, 얀 레쿤, 마이클 I. 조르던 등 기계학습 및 시스템 공동체의 주요 인사들로부터 지지를 얻었다.
• 컨퍼런스는 하드웨어 가속화부터 윤리적 배포에 이르기까지 전 스택 기계학습 시스템 과제를 해결하는 핵심 허브로 자리매김할 전망이다.