[논문 리뷰] Benchmarking TinyML Systems: Challenges and Direction

Colby Banbury, Vijay Janapa Reddi외 15명|arXiv (Cornell University)|2020. 03. 10.

Video Analysis and Summarization참고 문헌 24인용 수 197

한 줄 요약

논문은 TinyML를 위한 공정한 하드웨어 벤치마크의 필요성을 논의하고, 주요 도전과제를 개략적으로 제시하며, 네 가지 다이버시한(use cases) 사용 사례, 데이터셋, 모델을 활용한 TinyMLPerf와 유사한 네 벤치마크 스위트를 제안한다.

ABSTRACT

Recent advancements in ultra-low-power machine learning (TinyML) hardware promises to unlock an entirely new class of smart applications. However, continued progress is limited by the lack of a widely accepted benchmark for these systems. Benchmarking allows us to measure and thereby systematically compare, evaluate, and improve the performance of systems and is therefore fundamental to a field reaching maturity. In this position paper, we present the current landscape of TinyML and discuss the challenges and direction towards developing a fair and useful hardware benchmark for TinyML workloads. Furthermore, we present our four benchmarks and discuss our selection methodology. Our viewpoints reflect the collective thoughts of the TinyMLPerf working group that is comprised of over 30 organizations.

연구 동기 및 목표

• 진전을 가속하기 위해 공정하고 비교 가능한 TinyML 하드웨어 벤치마크의 필요성을 제시한다.
• 벤치마킹 격차를 식별하기 위해 사용 사례, 모델, 데이터셋 전반에 걸친 TinyML 현황을 조사한다.
• TinyML 벤치마킹에서의 근본적인 도전과제(전력, 메모리, 하드웨어/소프트웨어 이질성)를 식별한다.
• 네 가지 벤치마크 사용 사례, 데이터셋, 참조 모델로 구체적인 앞으로의 방향을 제안한다.

제안 방법

• 현재의 TinyML 현황과 벤치마킹 노력을 분석한다.
• 공정한 벤치마킹을 복잡하게 만드는 핵심 도전과제(전력, 메모리, 하드웨어 및 소프트웨어 이질성)를 식별한다.
• TinyML 벤치마크 스위트를 위한 원칙에 입각한 지침을 제안하고 네 가지 대상 사용 사례를 정의한다.
• 개방 데이터셋과 참조 모델을 선택하여 클로즈드 분할 벤치마크의 토대를 마련한다.
• 비교 가능성을 위한 분할 및 선택적 에너지 지표와 함께 대기시간(지연)을 강조하는 측정 프레임워크를 정의한다.

실험 결과

연구 질문

• RQ1 공정하고 유용한 TinyML 하드웨어 벤치마크를 만드는 데 있어 주요 도전과제는 무엇인가?
• RQ2 비교 가능성, 개방성, 대표성을 균형 있게 반영하도록 TinyML 벤치마크를 어떻게 구성해야 하는가?
• RQ3 벤치마킹 목적에 가장 잘 맞는 TinyML 현황을 어느 사용 사례, 데이터셋, 모델이 커버하는가?
• RQ4 다양한 TinyML 하드웨어에서 공정한 평가를 가능하게 하는 지표와 분할(open vs. closed)은 무엇인가?

주요 결과

• TinyML 벤치마킹은 네 가지 주요 도전에 직면한다: 저전력 측정, 극심한 메모리 제약, 하드웨어 이질성, 소프트웨어 배포의 다양성.
• TinyML 벤치마크는 엄격한 비교 가능성과 포용성 및 혁신 간의 균형을 맞추기 위해 오픈(Open)과 클로즈드(Closed) 분할을 채택해야 한다.
• 다양한 입력 유형과 모델 계열을 다루기 위해 네 가지 사용 사례를 선택했다(오디오 웨이크 워드, 비주얼 웨이크 워드, 이미지 분류, 이상 탐지).
• 오픈 분할의 결과는 클로즈드 분할 참조 모델의 정확도 임계치 이내로 유지되어야 한다.
• 지표는 추론 지연에 중점을 두되 에너지 소비를 측정하는 옵션을 포함한다.
• 신속하고 최소한의 실용적인 벤치마킹 세트를 우선시하며, 반복적 개선과 커뮤니티 참여 계획이 있다.