[论文解读] A Survey on Deep Neural Network Compression: Challenges, Overview, and Solutions

Rahul Mishra, Hari Prabhat Gupta+1 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Neural Network Applications参考文献 97被引用 60

一句话总结

本文综述了现有的深度神经网络（DNN）压缩技术，将其分为剪枝、稀疏表示、低精度、知识蒸馏和杂项，并讨论了IoT部署的挑战与未来方向。

ABSTRACT

Deep Neural Network (DNN) has gained unprecedented performance due to its automated feature extraction capability. This high order performance leads to significant incorporation of DNN models in different Internet of Things (IoT) applications in the past decade. However, the colossal requirement of computation, energy, and storage of DNN models make their deployment prohibitive on resource constraint IoT devices. Therefore, several compression techniques were proposed in recent years for reducing the storage and computation requirements of the DNN model. These techniques on DNN compression have utilized a different perspective for compressing DNN with minimal accuracy compromise. It encourages us to make a comprehensive overview of the DNN compression techniques. In this paper, we present a comprehensive review of existing literature on compressing DNN model that reduces both storage and computation requirements. We divide the existing approaches into five broad categories, i.e., network pruning, sparse representation, bits precision, knowledge distillation, and miscellaneous, based upon the mechanism incorporated for compressing the DNN model. The paper also discussed the challenges associated with each category of DNN compression techniques. Finally, we provide a quick summary of existing work under each category with the future direction in DNN compression.

研究动机与目标

• 对DNN压缩技术进行全面概述，以实现资源受限的物联网设备的部署。
• 将压缩方法分为五大类，并在每个类别中映射代表性工作。
• 识别当前技术中的挑战与空白，以提出未来的研究方向。
• 总结每个类别在在保持准确率的同时，如何缓解存储、计算和能量需求。

提出的方法

• 将DNN压缩技术分成五大类：网络剪枝、稀疏表示、比特精度、知识蒸馏和杂项。
• 在每个类别内审阅子类别（例如通道/过滤器/连接/层剪枝；量化、多路复用、权重共享；整数估计、低位表示、二值化； logits 迁移、教师助手、领域自适应）。
• 讨论与每个类别相关的挑战，包括准确率权衡和在资源受限设备上的部署考量。
• 提供每个类别下现有工作的综合总结，并勾画DNN压缩的未来方向。

实验结果

研究问题

• RQ1 文献中DNN压缩技术的主要类别和子类别有哪些？
• RQ2 每个压缩类别的关键挑战和准确率权衡有哪些？
• RQ3 当前的方法如何解决在资源受限物联网设备上的部署问题，未来工作有哪些空白？
• RQ4 未来方向如何推动DNN压缩在存储、计算和能量效率方面取得更好效果且不显著损失准确性？

主要发现

• DNN压缩文献大致分为五大类：网络剪枝、稀疏表示、比特精度、知识蒸馏和杂项。
• 网络剪枝的主要子类别包括通道、过滤器、连接和层剪枝，每种策略和权衡各不相同。
• 稀疏表示包括量化、多路复用和权重共享，旨在在保持性能的同时降低存储和 FLOPs。
• 比特精度技术涵盖整数估计、低位表示和二值化，以降低权重存储和计算。
• 知识蒸馏通过将大教师模型的泛化能力迁移到小型学生模型来缓解压缩后的准确率损失。
• 杂项技术聚焦于部署方面，如移动与嵌入式设备的适用性以及并行化。