[論文レビュー] Efficient Processing of Deep Neural Networks: A Tutorial and Survey

Vivienne Sze, Yu‐Hsin Chen+2 more|arXiv (Cornell University)|Mar 27, 2017

Advanced Neural Network Applications参考文献 99被引用数 50

ひとこと要約

本論文は、推論高速化、近接データ処理、アルゴリズムとハードウェアの共同設計を強調しつつ、効率的なディープニューラルネットワーク処理の技術、ハードウェアプラットフォーム、設計上のトレードオフを概観する。

ABSTRACT

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems. This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry. The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

研究の動機と目的

• ディープニューラルネットワークとそれがAIアプリケーション全体で果たす重要性の概要を提供する。
• DNN推論をサポートするハードウェアプラットフォームとアーキテクチャ、およびそれらの効率化効果を調査する。
• 精度を犠牲にせず計算量とエネルギーを削減する技術を強調する。
• DNNハードウェアを評価するためのリソース、ベンチマーク指標、設計上の考慮事項を論じる。
• 共同のアルゴリズムとハードウェア最適化による潜在的な利得を説明し、傾向と機会を特定する。

提案手法

• DNNとAIにおける役割およびデプロイ済みアプリケーションに関する背景を提示する。
• DNNの構成要素、モデル、およびCNNとFC層におけるコア計算を説明する。
• DNN向けのハードウェアプラットフォーム、メモリ技術、近接データ処理アプローチを調査する。
• データ移動コストを低減するための混合信号・メモリ中心の戦略を論じる。
• 共同のアルゴリズム–ハードウェア最適化アプローチとスループットおよびエネルギー効率への影響を概説する。
• DNNハードウェア設計のベンチマーク指標と評価上の考慮事項を提案する。

実験結果

リサーチクエスチョン

• RQ1 効率的なDNNハードウェア実装のための主要な設計上の考慮事項は何か。
• RQ2 スループット、エネルギー効率、および精度の維持を評価・ベンチマークするにはどうすればよいか。
• RQ3 DNN推論のための異なるハードウェアアーキテクチャやプラットフォーム間のトレードオフは何か。
• RQ4 効率化を達成する上で、アルゴリズム技術（例：剪定、量子化）とハードウェア設計はどのような役割を果たすか。
• RQ5 DNNsの近接データ処理とメモリ技術における新たな機会は何か。

主な発見

• DNNは高い精度を達成するが、計算量とデータ移動コストが高く、特化型のアクセラレーションを促す。
• 畳み込み層、全結合層、プーリング層、正規化層は現代のDNNの基本的な構成要素を形成し、BNは標準的な実践になる。
• さまざまなハードウェアプラットフォームと最適化は、精度を低下させることなくスループットとエネルギー効率を向上させることができる。
• データ移動のボトルネックに対処する手段として、近接データ処理と混在信号/メモリ技術が強調されている。
• 共同のアルゴリズム–ハードウェア最適化は、精度の低下を管理しつつ、スループットとエネルギーの利得を生み出す可能性がある。
• 成長するDNNアクセラレータの領域を評価するために、一連のベンチマーク指標と設計上の考慮事項が提案されている。