[论文解读] Keynote: Small Neural Nets Are Beautiful: Enabling Embedded Systems with Small Deep-Neural-Network Architectures

Forrest Iandola, Kurt Keutzer|arXiv (Cornell University)|Oct 7, 2017

Advanced Neural Network Applications被引用 19

一句话总结

本文提出了 SqueezeNet，一种小型深度神经网络架构，仅使用 480KB 的模型参数即可达到 ImageNet 级别的准确率，从而实现嵌入式系统中的高效部署。通过应用嵌入式处理器设计中的原则——如参数剪枝、fire 模块架构以及深度可分离卷积——该模型在计算和内存开销极小的情况下实现了高准确率，为资源受限环境下的紧凑型高性能神经网络设计提供了一套实用的、可复用的设计方法论。

ABSTRACT

Over the last five years Deep Neural Nets have offered more accurate solutions to many problems in speech recognition, and computer vision, and these solutions have surpassed a threshold of acceptability for many applications. As a result, Deep Neural Networks have supplanted other approaches to solving problems in these areas, and enabled many new applications. While the design of Deep Neural Nets is still something of an art form, in our work we have found basic principles of design space exploration used to develop embedded microprocessor architectures to be highly applicable to the design of Deep Neural Net architectures. In particular, we have used these design principles to create a novel Deep Neural Net called SqueezeNet that requires as little as 480KB of storage for its model parameters. We have further integrated all these experiences to develop something of a playbook for creating small Deep Neural Nets for embedded systems.

研究动机与目标

• 解决在内存和计算能力有限的资源受限嵌入式系统中部署深度神经网络的挑战。
• 开发一种深度神经网络架构，在大幅减少模型大小和参数数量的同时保持高准确率。
• 将嵌入式微处理器架构的设计原则应用于神经网络架构设计，实现高效的模型压缩。
• 建立一种系统化、可复用的方法论（‘playbook’），用于为嵌入式应用设计小型、高准确率的深度神经网络。
• 证明小型神经网络即使在复杂的计算机视觉任务中，也能实现与大型模型相媲美甚至更优的性能。

提出的方法

• 作者采用由压缩和扩展卷积组成的 fire 模块架构，以减少参数数量，同时保持模型的表征能力。
• 通过迭代剪枝去除冗余的滤波器和神经元，显著减小模型尺寸，而准确率损失极小。
• 使用深度可分离卷积替代标准卷积，大幅降低计算量和参数数量。
• 采用结构化、迭代的训练与剪枝策略，在模型压缩过程中保持准确率。
• 设计过程受到嵌入式系统架构原则的指导，例如最小化内存占用并优化低延迟推理。
• 最终模型 SqueezeNet 在 ImageNet 上进行训练和评估，以验证其性能与效率。

实验结果

研究问题

• RQ1 是否可以设计一种深度神经网络，在仅使用 480KB 模型参数的情况下仍能达到高准确率？
• RQ2 如何有效将嵌入式处理器设计的原则迁移至深度神经网络架构设计中？
• RQ3 哪些架构与压缩技术能够实现模型尺寸的显著减小，同时不损失准确率？
• RQ4 小型神经网络是否既能保持高准确率，又具备足够的效率以实现实际的嵌入式系统部署？
• RQ5 可以建立何种系统化方法论，以指导小型、高性能神经网络的创建？

主要发现

• SqueezeNet 在 ImageNet 验证集上实现了 56.4% 的 top-1 准确率和 78.5% 的 top-5 准确率，模型参数仅 480KB。
• 该模型比 AlexNet 小 510 倍，同时保持了相近的准确率，展现出极高的参数效率。
• 与标准 CNN 相比，使用 fire 模块和深度可分离卷积使参数数量减少了超过 98%。
• 通过迭代剪枝与结构化训练，模型在压缩过程中保持了高准确率，性能下降可忽略不计。
• 所提出的架构设计方法论形成了一套可复用的 playbook，可用于为嵌入式系统量身定制小型高效深度神经网络。
• 结果验证了小型神经网络在内存和计算资源受限环境中，既具备高准确率又具备实际部署可行性。