[논문 리뷰] Introducing ReQuEST: an Open Platform for Reproducible and Quality-Efficient Systems-ML Tournaments

Thierry Moreau, Anton Lokhmotov외 1명|arXiv (Cornell University)|2018. 01. 19.

Machine Learning and Data Classification참고 문헌 1인용 수 5

한 줄 요약

ReQuEST는 Collective Knowledge 프레임워크와 ACM 아티팩트 평가 방법론을 사용하여 하드웨어/소프트웨어 스택 전반에 걸쳐 평가를 표준화하는 개방적이고 재현 가능한 시스템-머신러닝 공동 설계 대회 플랫폼을 제공한다. 이 플랫폼은 다양한 플랫폼에서 모델의 실시간 다중 목적 벤치마킹을 가능하게 하며, 속도, 정확도, 에너지, 비용 간의 파레토 최적 트레이드오프에 중점을 두어 재사용 가능하고 비교 가능하며 공동 검증된 연구 자료를 촉진한다.

ABSTRACT

Co-designing efficient machine learning based systems across the whole hardware/software stack to trade off speed, accuracy, energy and costs is becoming extremely complex and time consuming. Researchers often struggle to evaluate and compare different published works across rapidly evolving software frameworks, heterogeneous hardware platforms, compilers, libraries, algorithms, data sets, models, and environments. We present our community effort to develop an open co-design tournament platform with an online public scoreboard. It will gradually incorporate best research practices while providing a common way for multidisciplinary researchers to optimize and compare the quality vs. efficiency Pareto optimality of various workloads on diverse and complete hardware/software systems. We want to leverage the open-source Collective Knowledge framework and the ACM artifact evaluation methodology to validate and share the complete machine learning system implementations in a standardized, portable, and reproducible fashion. We plan to hold regular multi-objective optimization and co-design tournaments for emerging workloads such as deep learning, starting with ASPLOS'18 (ACM conference on Architectural Support for Programming Languages and Operating Systems - the premier forum for multidisciplinary systems research spanning computer architecture and hardware, programming languages and compilers, operating systems and networking) to build a public repository of the most efficient machine learning algorithms and systems which can be easily customized, reused and built upon.

연구 동기 및 목표

• 진행 중인 하드웨어, 소프트웨어, 프레임워크의 변화에 따라 시스템-ML 공동 설계 평가의 복잡성과 재현 불가능성 문제를 해결하기 위해.
• 정확한 비교가 가능한 공정한, 사과에서 사과로의 비교를 가능하게 하는 표준화된 공동 설계 플랫폼을 구축하기 위해.
• 오픈소스 워크플로우와 아티팩트 평가를 통해 연구 자료의 재현 가능성, 재사용 가능성, 기술 이전를 촉진하기 위해.
• 다양한 워크로드와 플랫폼 전반에서 품질 대 효율성 트레이드오프의 지속적 벤치마킹과 최적화를 가능하게 하기 위해.
• 이중 연간 워크숍과 산업계 피드백을 통해 시스템, 머신러닝, 하드웨어 공동체 간의 협업을 촉진하기 위해.

제안 방법

• 플랫폼은 오픈소스 Collective Knowledge(CK) 프레임워크를 기반으로 하여, 공통 JSON API를 통해 이식 가능하고, 버전 관리가 되며, 재사용 가능한 워크플로우를 제공한다.
• 기여자들의 기여를 기반으로 실시간으로 생성되는 실시간 스코어보드를 통해, 장치와 프레임워크 전반에서 추론 속도, 에너지, 비용 등의 메트릭을 추적한다.
• 제출물은 모델, 프레임워크, 데이터셋, 하드웨어 구성 등을 포함하는 사용자 정의 가능한 CK 플러그인 형태로 패ckaging되어 일관된 배포를 지원한다.
• 정확도, 실행 시간, 메모리 프로파일 등 다양한 차원에서 파레토 최적 해를 추적함으로써 다중 목적 최적화를 지원한다.
• 향후 확장 기능으로 시뮬레이터, 저수준 최적화, 뉴로모픽 및 아날로그 가속기와 같은 신규 하드웨어 지원이 포함될 예정이다.

실험 결과

연구 질문

• RQ1 이질적인 하드웨어와 소프트웨어 스택 전반에서 시스템-ML 공동 설계 평가의 재현 가능성과 비교 가능성은 어떻게 향상시킬 수 있는가?
• RQ2 공정하고 자동화되며 지속적인 머신러닝 시스템 벤치마킹을 가능하게 하는 표준화된 워크플로우와 평가 방법론은 무엇인가?
• RQ3 커뮤니티 기반 플랫폼은 속도, 정확도, 비용 측면에서 파레토 최적의 시스템 설계를 어떻게 탐색하고 재사용 가능하게 할 수 있는가?
• RQ4 실시간 공개 스코어보드와 아티팩트 평가가 연구 투명성 향상과 기술 이전에 기여할 수 있는 역할은 무엇인가?
• RQ5 학계와 산업계의 피드백은 지속 가능하고 확장 가능한 공동 설계 플랫폼의 진화를 어떻게 이끌 수 있는가?

주요 결과

• ReQuEST는 Collective Knowledge 프레임워크를 기반으로 한 실시간 스코어보드를 활용하여 다양한 프레임워크, 모델, 장치에서 딥러닝 추론의 실시간 공개 벤치마킹을 가능하게 한다.
• 플랫폼은 ACM 아티팩트 평가 방법론을 성공적으로 통합하여 다양한 시스템 구성에서 제출물의 유효성과 재현 가능성을 보장한다.
• CK를 통한 워크플로우와 메타데이터 표준화를 통해 ReQuEST는 이질적 플랫폼 전반에서 연구 자료의 재사용과 커스터마이제이션을 촉진한다.
• 첫 번째 ReQuEST 워크숍은 2018년 ASPLOS와 공동 개최되었으며, 추론 최적화에 초점을 맞추고 향후 이중 연간 대회를 위한 시범 프로그램으로 기능했다.
• 플랫폼은 정확도, 속도, 에너지, 비용을 효과적으로 균형 잡는 다차원 파레토 최적성 분석을 지원한다.
• 학계 및 산업계의 피드백을 바탕으로 플랫폼은 신규 하드웨어, 메트릭, 최적화 기법 지원을 확장하고 있다.