[論文レビュー] Benchmarking TinyML Systems: Challenges and Direction

Colby Banbury, Vijay Janapa Reddi+15 more|arXiv (Cornell University)|Mar 10, 2020

Video Analysis and Summarization参考文献 24被引用数 197

ひとこと要約

論文は TinyML の公正なハードウェアベンチマークの必要性を論じ、主要な課題を概説し、4つの多様なユースケース、データセット、モデルを使用した TinyMLPerf ライクス風の四つのベンチマークスイートを提案します。オープン/クローズド部門を用いて。

ABSTRACT

Recent advancements in ultra-low-power machine learning (TinyML) hardware promises to unlock an entirely new class of smart applications. However, continued progress is limited by the lack of a widely accepted benchmark for these systems. Benchmarking allows us to measure and thereby systematically compare, evaluate, and improve the performance of systems and is therefore fundamental to a field reaching maturity. In this position paper, we present the current landscape of TinyML and discuss the challenges and direction towards developing a fair and useful hardware benchmark for TinyML workloads. Furthermore, we present our four benchmarks and discuss our selection methodology. Our viewpoints reflect the collective thoughts of the TinyMLPerf working group that is comprised of over 30 organizations.

研究の動機と目的

• 進展を加速させるため、公正で比較可能な TinyML ハードウェアベンチマークの必要性を喚起する。
• ユースケース・モデル・データセット全体の TinyML の現状を調査し、ベンチマークギャップを特定する。
• TinyML ベンチマークにおける根本的な課題（電力、メモリ、ハードウェア/ソフトウェアの異種性）を特定する。
• 4つのベンチマーク用のユースケース、データセット、参照モデルを含む具体的な前進方針を提案する。

提案手法

• 現在の TinyML の現状とベンチマークの取り組みを分析する。
• 公正なベンチマークを複雑にする中核的な課題（電力、メモリ、ハードウェアとソフトウェアの異種性）を特定する。
• TinyML ベンチマークスイートの原則的なガイドラインを提案し、4つの対象ユースケースを定義する。
• クローズド部門のベンチマークを支えるために、オープンデータセットと参照モデルを選定する。
• レイテンシを強調し、比較可能性のためのオプションのエネルギー指標と部門を伴う測定フレームワークを定義する。

実験結果

リサーチクエスチョン

• RQ1 公正で有用な TinyML ハードウェアベンチマークを作成する際の主要な課題は何か？
• RQ2 比較可能性・オープン性・代表性のバランスを取るために、TinyML ベンチマークはどのように構成されるべきか？
• RQ3 ベンチマーク用途のために、どのユースケース・データセット・モデルが TinyML の全体像を最もよくカバーするか？
• RQ4 異種性のある TinyML ハードウェア全体で公正な評価を最も実現する指標と部門（オープン対クローズド）は何か？

主な発見

• TinyML ベンチマークは、低電力測定、極端なメモリ制約、ハードウェアの異種性、ソフトウェア展開の多様性という4つの主要な課題に直面している。
• TinyML ベンチマークは、厳密な比較可能性と包摂性・イノベーションのバランスを取るために、オープン部門とクローズド部門を採用すべきである。
• 4つのユースケースが選定された（音声ウェイクワード、視覚ウェイクワード、画像分類、異常検知）多様な入力タイプとモデルファミリをカバーするため。
• オープン部門の結果は、クローズド部門の参照モデルの閾値内で精度を維持しなければならない。
• 指標は推論レイテンシに焦点を当て、エネルギー消費を測定するオプションを設定する。
• 迅速で最小限実用的なベンチマークセットを優先し、反復的改善とコミュニティ参加の計画を含む。