[논문 리뷰] MLPerf Mobile Inference Benchmark: Why Mobile AI Benchmarking Is Hard and What to Do About It.

Vijay Janapa Reddi, David Kanter외 22명|arXiv (Cornell University)|2020. 12. 03.

Advanced Neural Network Applications참고 문헌 22인용 수 4

한 줄 요약

MLPerf Mobile는 다양한 하드웨어 및 소프트웨어 스택을 통해 모바일 AI 성능을 평가하기 위한 산업 표준이며 오픈소스인 최초의 벤치마크를 도입한다. 이는 단일 모델, 데이터셋, 메트릭 및 런 룰 세트를 사용하여 컴퓨터 비전 및 NLP 워크로드에 대해 모바일 디바이스에서 추론 성능을 공정하고 재현 가능하며 표준화된 방식으로 평가할 수 있도록 한다.

ABSTRACT

MLPerf Mobile is the first industry-standard open-source mobile benchmark developed by industry members and academic researchers to allow performance/accuracy evaluation of mobile devices with different AI chips and software stacks. The benchmark draws from the expertise of leading mobile-SoC vendors, ML-framework providers, and model producers. In this paper, we motivate the drive to demystify mobile-AI performance and present MLPerf Mobile's design considerations, architecture, and implementation. The benchmark comprises a suite of models that operate under standard models, data sets, quality metrics, and run rules. For the first iteration, we developed an app to provide an out-of-the-box inference-performance benchmark for computer vision and natural-language processing on mobile devices. MLPerf Mobile can serve as a framework for integrating future models, for customizing quality-target thresholds to evaluate system performance, for comparing software frameworks, and for assessing heterogeneous-hardware capabilities for machine learning, all fairly and faithfully with fully reproducible results.

연구 동기 및 목표

• 이질적인 하드웨어 및 소프트웨어 플랫폼 간에 표준화되고 재현 가능한 벤치마크가 부족한 문제를 해결한다.
• 모든 추론 속도, 정확도 및 효율성에 대해 공정하게 평가할 수 있는 통합 프레임워크를 통해 모바일 AI 성능의 신뢰성을 높인다.
• 모바일 디바이스에서 머신러닝 프레임워크, 하드웨어 가속기 및 시스템 최적화 기술 간의 일관된 비교를 가능하게 한다.
• 미래의 모델 통합과 모바일 AI 평가를 위한 사용자 정의 가능한 품질 기준 임계치를 위한 기반을 제공한다.
• 완전히 문서화된 런 룰, 데이터셋 및 평가 메트릭을 통해 벤치마크의 투명성과 정확성을 확보한다.

제안 방법

• 컴퓨터 비전 및 자연어 처리를 위한 기계학습 모델의 정교한 컬렉션을 포함한 표준화된 벤치마크 세트를 설계한다.
• 재현 가능성과 공정성을 확보하기 위해 일관된 데이터셋, 품질 메트릭 및 런 룰을 정의한다.
• 모바일 디바이스에서 즉시 사용 가능한 추론 벤치마크를 가능하게 하는 애플리케이션 기반 실행 프레임워크를 구현한다.
• 실제 세계의 관련성을 확보하기 위해 주요 모바일 SoC 제조사, 머신러닝 프레임워크 제공업체 및 모델 제작업체의 기여를 통합한다.
• 미래의 모델 추가 및 사용자 정의 가능한 품질 기준 임계치를 지원하는 모듈러 아키텍처를 구축한다.
• 다양한 모바일 플랫폼 간에 일관되고 비교 가능한 결과를 확보하기 위해 엄격한 실행 및 측정 프로토콜을 시행한다.

실험 결과

연구 질문

• RQ1 다양한 하드웨어 및 소프트웨어 스택 간에 어떻게 일관된 방식으로 모바일 AI 성능을 평가할 수 있는가?
• RQ2 모바일 AI 벤치마크에서 공정성, 재현 가능성 및 표준화를 확보하기 위해 필요한 설계 원칙은 무엇인가?
• RQ3 미래의 모델 통합과 사용자 정의 가능한 품질 목표를 지원할 수 있도록 벤치마크는 어떻게 아키텍처화되어야 하는가?
• RQ4 표준화된 데이터셋, 메트릭 및 런 룰은 어떻게 다양한 플랫폼 간 신뢰할 수 있는 비교를 가능하게 하는가?
• RQ5 산업계와 학계는 어떻게 협력하여 신뢰할 수 있는 모바일 AI 벤치마크를 효과적으로 구축할 수 있는가?

주요 결과

• MLPerf Mobile는 다양한 기기와 하드웨어 가속기에서 공정하고 재현 가능한 방식으로 모바일 AI 추론 성능을 평가할 수 있도록 표준화되고 오픈소스인 벤치마크를 제공한다.
• 벤치마크 세트는 컴퓨터 비전 및 자연어 처리를 위한 모델을 포함하여 핵심 모바일 AI 워크로드에 광범위하게 적용 가능하다.
• 데이터셋, 메트릭 및 런 룰을 통합함으로써 MLPerf Mobile는 다양한 플랫폼 간 성능 측정의 이질성을 제거한다.
• 앱 기반의 구현 방식 덕분에 개발자와 연구자들이 설정 장벽 없이 즉시 추론 벤치마크를 수행할 수 있다.
• 프레임워크는 향후 확장성을 지원하여 새로운 모델 통합과 시스템 평가를 위한 사용자 정의 가능한 품질 기준 임계치를 가능하게 한다.
• 산업계와 학계의 협업 덕분에 벤치마크는 높은 정확도로 실제 세계의 모바일 AI 배포 시나리오를 반영한다.