[論文レビュー] An Analysis of Deep Neural Network Models for Practical Applications

Alfredo Canziani, Adam Paszke+1 more|arXiv (Cornell University)|May 24, 2016

Advanced Neural Network Applications参考文献 11被引用数 981

ひとこと要約

本論文は ImageNet に対する最新の DNN アーキテクチャを、精度・メモリ・パラメータ数・計算量・推論時間・電力の観点で分析し、精度と時間の双曲的なトレードオフとエネルギー制約の影響を強調する。

ABSTRACT

Since the emergence of Deep Neural Networks (DNNs) as a prominent technique in the field of computer vision, the ImageNet classification challenge has played a major role in advancing the state-of-the-art. While accuracy figures have steadily increased, the resource utilisation of winning models has not been properly taken into account. In this work, we present a comprehensive analysis of important metrics in practical applications: accuracy, memory footprint, parameters, operations count, inference time and power consumption. Key findings are: (1) power consumption is independent of batch size and architecture; (2) accuracy and inference time are in a hyperbolic relationship; (3) energy constraint is an upper bound on the maximum achievable accuracy and model complexity; (4) the number of operations is a reliable estimate of the inference time. We believe our analysis provides a compelling set of information that helps design and engineer efficient DNNs.

研究の動機と目的

• 実用的な展開のために、精度だけでなく DNN を評価する必要性を動機づける。
• 実世界のアプリケーションに関連する複数のリソース指標に関して、アーキテクチャを跨いだ比較を提供する。
• 実用的な制約の下で、精度・計算量・エネルギーの関係を特定する。
• 効率的なネットワーク設計と展開戦略を導く示唆を提案する。

提案手法

• 公正な比較を可能にするため、ネットワーク間で単一の中央クロップサンプリングを使用して top-1 精度を収集・再評価する。
• Torch7 と cuDNN/cuD バックエンドを搭載した Jetson TX1 で推論時間・メモリ使用量・電力を測定する。
• 推論時間と関連付けるため、カスタムのオープンソースツールで演算回数を計算する。
• 高帯域幅の電流測定を含む電力消費を、バッチサイズごとに分析する。
• 精度と演算・パラメータ・スループットの関係を可視化してトレードオフを特定する。
• 実用的な効率を念頭に設計された効率的なアーキテクチャとして ENet を導入する。

実験結果

リサーチクエスチョン

• RQ1 現実的なハードウェアで、現代の DNN アーキテクチャは精度・メモリ使用量・パラメータ数・演算・推論時間・電力消費の点でどのように比較されるのか？
• RQ2 実世界の展開制約下で、精度・スループット・エネルギーの関係はどうなるのか？
• RQ3 ENet のようなアーキテクチャは、パラメータあたりの情報密度と全体的な効率の点で、より大きなモデルより上回ることができるのか？

主な発見

• ResNet および Inception 系列は、以前のネットワークより大幅に精度を上回り、少なくとも前世代のアーキテクチャより 7% 以上の改善を示す。
• VGG-16/19 は計算量・パラメータ数の両面で最も高価なアーキテクチャであり、他のネットワークと分離した孤立したクラスターを形成する。
• アーキテクチャ間で、精度と推論時間の間には双曲的な関係がある。
• 演算回数は、特に固定バッチサイズで推論時間の信頼できる推定量である。
• 電力消費は、バッチサイズやアーキテクチャにほとんど依存せず、フル利用時には待機電力より約 11.8 W 追加される。
• ENet は最高の情報密度を達成し、VGG-19 より最大で 24 倍少ないパラメータで、競争力のある精度を維持する。