[論文レビュー] Benchmarking Deep Learning Hardware and Frameworks: Qualitative Metrics.

Wei Dai, Daniel Berleant|arXiv (Cornell University)|Jul 5, 2019

Ferroelectric and Negative Capacitance Devices被引用数 1

ひとこと要約

本論文は、12の定量的メトリクスを用いた深層学習ハードウェアプラットフォームと、7の定性的メトリクスを用いたソフトウェアフレームワークの包括的なベンチマーキングフレームワークを提案する。16の深層学習フレームワークと複数のAIアクセラレータ（GPU、FPGA、ASIC）を評価し、パフォーマンス、効率性、使いやすさのトレードオフに基づいた体系的で比較可能な分析を提供する。

ABSTRACT

Previous survey papers offer knowledge of deep learning hardware devices and software frameworks. This paper introduces benchmarking principles, surveys machine learning devices including GPUs, FPGAs, and ASICs, and reviews deep learning software frameworks. It also reviews these technologies with respect to benchmarking from the angles of our 7-metric approach to frameworks and 12-metric approach to hardware platforms. After reading the paper, the audience will understand seven benchmarking principles, generally know that differential characteristics of mainstream AI devices, qualitatively compare deep learning hardware through our 12-metric approach for benchmarking hardware, and read benchmarking results of 16 deep learning frameworks via our 7-metric set for benchmarking frameworks.

研究の動機と目的

• 深層学習ハードウェアおよびソフトウェアプラットフォームの標準化されたベンチマーキング手法を確立すること。
• GPU、FPGA、ASICを含む主流のAIアクセラレータの差異的な特徴を特定し、分析すること。
• 使いやすさ、柔軟性、統合性に焦点を当てた7メトリクスフレームワークを用いて、深層学習フレームワークを定性的に評価すること。
• 定義されたベンチマーキング基準に基づき、16の深層学習フレームワークと複数のハードウェアプラットフォームの比較分析を実施すること。
• パフォーマンスと使いやすさの主な次元におけるトレードオフを定量化することで、AIシステム設計における意思決定を支援すること。

提案手法

• パフォーマンス、エネルギー効率性、プログラマビリティなどをカバーする12メトリクスのハードウェアベンチマーキングフレームワークを構築した。
• 使いやすさ、デプロイの柔軟性、エコシステム支援に重点を置いた7メトリクスのソフトウェアフレームワーク評価フレームワークを設計した。
• 16の主要な深層学習フレームワークを7メトリクスフレームワークを用いて調査・分析し、設計およびデプロイ特性における定性的な差を評価した。
• GPU、FPGA、ASICといった主流のAIハードウェアデバイスを、12メトリクスのハードウェアベンチマーキングアプローチを用いて評価し、強みと限界を明らかにした。
• フレームワークおよびハードウェア評価から得られた定性的な知見を統合し、技術選定に向けた包括的な比較評価を実施した。
• ハードウェアおよびソフトウェアの両方に対してベンチマーキング原則を一貫して適用することで、クロスプラットフォームの比較可能性と実用的なインサイトを確保した。

実験結果

リサーチクエスチョン

• RQ1 主流の深層学習ハードウェアプラットフォーム（GPU、FPGA、ASIC）は、パフォーマンスと効率性の主な次元においてどのように比較されるか？
• RQ2 16の主要な深層学習フレームワークは、使いやすさ、柔軟性、デプロイ支援の観点からどのように定性的に異なるか？
• RQ3 12メトリクスのハードウェアメトリクスと7メトリクスのフレームワークメトリクスが、どのように統合的にAIプラットフォームを比較可能にするか？
• RQ4 深層学習ワークロードにおいて、ハードウェアアクセラレータとソフトウェアフレームワークの間でどのようなトレードオフが生じるか？
• RQ5 提案されたベンチマーキングメトリクスは、AIシステムアーキテクトや研究者にとって意思決定をどのように改善するか？

主な発見

• 12メトリクスのハードウェアベンチマーキングフレームワークにより、AIアクセラレータの体系的かつ多次元的な比較が可能となり、GPU、FPGA、ASICの間でパフォーマンス、エネルギー効率性、プログラマビリティの面で明確なトレードオフが明らかになった。
• 7メトリクスのフレームワーク評価フレームワークにより、16の主要フレームワークにおける使いやすさ、デプロイの柔軟性、エコシステム成熟度を体系的に定性的に評価する手法が提供された。
• GPUは、パフォーマンスとフレームワーク支援において一貫して高いスコアを示したが、特定のワークロードではFPGAやASICに比べて高いエネルギー消費を示した。
• ASICは、特定の推論タスクにおいて優れたエネルギー効率性とパフォーマンスを示したが、汎用GPUやFPGAに比べて柔軟性に欠けた。
• FPGAは、特殊なワークロードに対して優れた適応性と低遅延パフォーマンスを提供したが、効果的なデプロイには顕著な専門知識が求められた。
• ベンチマーキングアプローチにより、研究者および実務家は、深層学習アプリケーションのハードウェアおよびソフトウェアスタック選定において、根拠に基づいた意思決定を下せるようになった。