[論文レビュー] MLPerf Mobile Inference Benchmark: Why Mobile AI Benchmarking Is Hard and What to Do About It.

Vijay Janapa Reddi, David Kanter+22 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 22被引用数 4

ひとこと要約

MLPerf Mobile は、多様なハードウェアおよびソフトウェアスタックをカバーするモバイルAIパフォーマンスを評価するための、業界標準でオープンソースのベンチマークを初めて導入した。統一されたモデル、データセット、メトリクス、実行ルールを用いることで、コンピュータビジョンおよびNLPワークロードにおけるモバイルデバイス上での推論ベンチマークを、公平で再現可能かつ標準化された形で実施可能である。

ABSTRACT

MLPerf Mobile is the first industry-standard open-source mobile benchmark developed by industry members and academic researchers to allow performance/accuracy evaluation of mobile devices with different AI chips and software stacks. The benchmark draws from the expertise of leading mobile-SoC vendors, ML-framework providers, and model producers. In this paper, we motivate the drive to demystify mobile-AI performance and present MLPerf Mobile's design considerations, architecture, and implementation. The benchmark comprises a suite of models that operate under standard models, data sets, quality metrics, and run rules. For the first iteration, we developed an app to provide an out-of-the-box inference-performance benchmark for computer vision and natural-language processing on mobile devices. MLPerf Mobile can serve as a framework for integrating future models, for customizing quality-target thresholds to evaluate system performance, for comparing software frameworks, and for assessing heterogeneous-hardware capabilities for machine learning, all fairly and faithfully with fully reproducible results.

研究の動機と目的

• 異種のハードウェアおよびソフトウェアプラットフォーム間でのモバイルAIパフォーマンスを評価するための標準的で再現可能なベンチマークの不足に対処すること。
• 推論速度、精度、効率性を公平に評価できる統一されたフレームワークを構築することで、モバイルAIパフォーマンスのメカニズムを明確にすること。
• モバイルデバイス上での機械学習フレームワーク、ハードウェアアクセラレータ、システム最適化の間で一貫した比較を可能にすること。
• 将来的なモデル統合およびカスタマイズ可能な品質目標しきい値のための基盤を提供すること。
• 完全に文書化された実行ルール、データセット、評価メトリクスを通じて、ベンチマークの透明性と忠実性を確保すること。

提案手法

• コンピュータビジョンおよび自然言語処理向けの機械学習モデルの選定されたセットを用いた、標準化されたベンチマークスイートの設計。
• 再現性と公平性を確保するため、一貫したデータセット、品質メトリクス、実行ルールの定義。
• モバイルデバイス上で即座に推論ベンチマークが実行可能なアプリケーションベースの実行フレームワークの実装。
• 実際の現場応用に即した関連性を確保するため、主要なモバイルSoCベンダー、MLフレームワーク提供者、モデルプロバイダーからの貢献を統合。
• 将来的なモデル追加およびカスタマイズ可能な品質しきい値をサポートするモジュラーなアーキテクチャの構築。
• 多様なモバイルプラットフォーム間で一貫した比較可能な結果を得るために、厳密な実行および測定プロトコルの強制。

実験結果

リサーチクエスチョン

• RQ1 多様なハードウェアおよびソフトウェアスタック間で、どのようにしてモバイルAIパフォーマンスを一貫して評価できるか？
• RQ2 モバイルAIベンチマークにおける公平性、再現性、標準化を確保するために必要な設計原則は何か？
• RQ3 将来的なモデル統合およびカスタマイズ可能な品質目標をサポートできるように、ベンチマークをどのようにアーキテクチャ設計すべきか？
• RQ4 標準化されたデータセット、メトリクス、実行ルールは、信頼性の高いクロスプラットフォーム比較をどのように可能にするか？
• RQ5 業界と学術界は、信頼できるモバイルAIベンチマークを構築するために、どのように効果的に連携できるか？

主な発見

• MLPerf Mobile は、多様なデバイスおよびハードウェアアクセラレータ上で、公平で再現可能なモバイルAI推論評価を可能にする標準的でオープンソースのベンチマークを提供する。
• ベンチマークスイートには、コンピュータビジョンおよび自然言語処理のためのモデルが含まれており、主要なモバイルAIワークロードへの広範な適用性を確保している。
• データセット、メトリクス、実行ルールを統一することで、MLPerf Mobile は異なるプラットフォーム間でのパフォーマンス測定の不整合を解消している。
• アプリケーションベースの実装により、即時的な推論ベンチマークが可能となり、開発者や研究者にとってのセットアップの障壁が低減されている。
• フレームワークは将来的な拡張性をサポートしており、新しいモデルの統合およびシステム評価のためのカスタマイズ可能な品質しきい値の実装が可能である。
• 業界と学術界の協働により、ベンチマークは現実のモバイルAIデプロイメントシナリオを高精度で反映しており、忠実度の高いものとなっている。