[论文解读] Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale

Forrest Iandola|arXiv (Cornell University)|Dec 20, 2016

Advanced Neural Network Applications参考文献 116被引用 14

一句话总结

本文提出了一种系统化的方法，用于探索深度卷积神经网络（CNN）的广阔设计空间，识别适用于实际应用的最优架构。通过结合使用FireCaffe的快速训练、全面的基准测试以及对CNN架构维度的结构化定义，作者发现了SqueezeNet——一种紧凑且准确的CNN，其模型大小减少了50倍，同时精度损失极小，从而实现了在FPGA等资源受限硬件上的高效部署。

ABSTRACT

In recent years, the research community has discovered that deep neural networks (DNNs) and convolutional neural networks (CNNs) can yield higher accuracy than all previous solutions to a broad array of machine learning problems. To our knowledge, there is no single CNN/DNN architecture that solves all problems optimally. Instead, the "right" CNN/DNN architecture varies depending on the application at hand. CNN/DNNs comprise an enormous design space. Quantitatively, we find that a small region of the CNN design space contains 30 billion different CNN architectures. In this dissertation, we develop a methodology that enables systematic exploration of the design space of CNNs. Our methodology is comprised of the following four themes. 1. Judiciously choosing benchmarks and metrics. 2. Rapidly training CNN models. 3. Defining and describing the CNN design space. 4. Exploring the design space of CNN architectures. Taken together, these four themes comprise an effective methodology for discovering the "right" CNN architectures to meet the needs of practical applications.

研究动机与目标

• 为解决在多样化应用中缺乏系统化方法来发现最优CNN架构的问题。
• 降低探索庞大CNN设计空间所带来的计算与工程开销，该设计空间最多包含300亿种架构。
• 通过与硬件和软件协同设计CNN架构，提升效率，尤其是在FPGA和边缘设备上的表现。
• 证明架构协同设计可显著减少传统加速器开发所需的硬件工程工作量。

提出的方法

• 开发了FireCaffe，一种高度优化的深度学习框架，可在大规模集群上实现快速、可扩展的训练。
• 基于层级别的架构选择（包括滤波器大小、步长、通道数和池化策略），定义了全面的CNN设计空间。
• 提出四步法方法：(1) 选择相关基准和指标，(2) 实现快速训练，(3) 明确定义设计空间，(4) 系统性探索。
• 通过局部和全局的架构修改，探索层维度变化对计算量、准确率和模型大小的影响。
• 应用该方法发现了SqueezeNet，一种参数量仅为AlexNet的1/50，同时保持高ImageNet准确率的CNN架构。
• 通过硬件协同设计验证了该方法，表明SqueezeNet可实现高效的FPGA部署，且工程工作量极低。

实验结果

研究问题

• RQ1 定义CNN设计空间的关键架构维度有哪些？它们如何影响计算量、准确率和模型大小？
• RQ2 如何在大规模上系统性地探索CNN设计空间，以识别高性能架构？
• RQ3 能否将CNN架构与硬件协同设计，从而大幅减少加速器开发所需的工作量？
• RQ4 在不牺牲准确率的前提下，模型压缩与架构创新能在多大程度上降低内存和计算需求？
• RQ5 训练框架和硬件的选择如何影响大规模CNN设计空间探索的可行性？

主要发现

• CNN设计空间包含约300亿种不同的架构，因此系统性探索对于发现最优模型至关重要。
• SqueezeNet在仅使用125万个参数的情况下实现了92.4%的Top-1 ImageNet准确率，相比AlexNet缩小了50倍，同时保持了高效率。
• SqueezeNet的架构，特别是Fire模块，通过最小化片上内存使用并支持2的幂次维度，实现了在FPGA上的高效部署。
• 将CNN与硬件（如FPGA）协同设计，可将硬件工程工作量从传统方式下由大型团队耗时数年，减少至单名研究人员仅需六个月。
• 用步长大于1的卷积层替代最大池化层，可同时提升内存效率，并在某些情况下提高ImageNet-1k上的准确率。
• 该方法成功发现了SqueezeNet，并证明架构创新可使能效和吞吐量实现数量级的提升。