[论文解读] An Analysis of Deep Neural Network Models for Practical Applications

Alfredo Canziani, Adam Paszke+1 more|arXiv (Cornell University)|May 24, 2016

Advanced Neural Network Applications参考文献 11被引用 981

一句话总结

本文分析用于 ImageNet 的最先进 DNN 架构在准确率、内存、参数、计算、推理时间和功耗等方面的表现，强调准确-时间的双曲关系以及能量约束的影响。

ABSTRACT

Since the emergence of Deep Neural Networks (DNNs) as a prominent technique in the field of computer vision, the ImageNet classification challenge has played a major role in advancing the state-of-the-art. While accuracy figures have steadily increased, the resource utilisation of winning models has not been properly taken into account. In this work, we present a comprehensive analysis of important metrics in practical applications: accuracy, memory footprint, parameters, operations count, inference time and power consumption. Key findings are: (1) power consumption is independent of batch size and architecture; (2) accuracy and inference time are in a hyperbolic relationship; (3) energy constraint is an upper bound on the maximum achievable accuracy and model complexity; (4) the number of operations is a reliable estimate of the inference time. We believe our analysis provides a compelling set of information that helps design and engineer efficient DNNs.

研究动机与目标

• 动机：在实际部署中需要超越单纯的准确性来评估 DNN。
• 提供针对真实世界应用相关的多种资源指标的跨架构比较。
• 在实际约束下识别准确性、计算和能量之间的关系。
• 提出洞见，指引高效的网络设计和部署策略。

提出的方法

• 使用单一中心裁剪采样在各网络之间收集并重新评估 top-1 准确率，以实现公平比较。
• 在 Jetson TX1 上使用 Torch7 与 cuDNN/cuD 后端测量推理时间、内存使用和功耗。
• 使用定制的开源工具计算运算量以将其与推理时间联系起来。
• 在不同批量大小下分析功耗，包括高带宽电流测量。
• 可视化准确率与运算量、参数和吞吐量之间的关系以识别权衡。
• 引入 ENet，作为面向实际效率而设计的高效架构。

实验结果

研究问题

• RQ1 现代 DNN 架构在实际硬件上在准确性、内存占用、参数量、运算、推理时间和功耗等方面的比较如何？
• RQ2 在实际部署约束下，准确性、吞吐量与能量之间的关系是什么？
• RQ3 像 ENet 这样的架构在每个参数的信息密度和整体效率方面，能否超越更大模型？

主要发现

• ResNet 与 Inception 变体在准确性上显著超过早期网络，较先前架构提升至少 7%。
• VGG-16/19 在计算和参数数量上成本最高，形成一个与其他网络分离的孤立簇。
• 跨架构存在准确性和推理时间之间的双曲关系。
• 运算量是推理时间的可靠估计，尤其是在固定批量大小时。
• 功耗在很大程度上与批量大小和架构无关，充分利用时比空载功耗多约 11.8 W。
• ENet 实现了最佳信息密度，参数数量比 VGG-19 少多达 24 倍，而保持有竞争力的准确性。