[论文解读] Efficient Synthesis of Compact Deep Neural Networks

Wenhan Xia, Hongxu Yin+1 more|arXiv (Cornell University)|Apr 18, 2020

Advanced Neural Network Applications参考文献 47被引用 4

一句话总结

本文提出了一种生长-剪枝合成范式，可高效生成紧凑且准确的深度神经网络（DNNs）和LSTM模型，尤其适用于资源受限的边缘设备。通过梯度引导下逐步扩展网络连接，随后剪枝低 magnitude 权重，该方法相比从零开始重新训练，将训练成本降低了高达67%，同时在无需原始训练数据的场景下，通过DeepInversion等技术生成合成数据，保持了高准确率，适用于数据无关和增量学习场景。

ABSTRACT

Deep neural networks (DNNs) have been deployed in myriad machine learning applications. However, advances in their accuracy are often achieved with increasingly complex and deep network architectures. These large, deep models are often unsuitable for real-world applications, due to their massive computational cost, high memory bandwidth, and long latency. For example, autonomous driving requires fast inference based on Internet-of-Things (IoT) edge devices operating under run-time energy and memory storage constraints. In such cases, compact DNNs can facilitate deployment due to their reduced energy consumption, memory requirement, and inference latency. Long short-term memories (LSTMs) are a type of recurrent neural network that have also found widespread use in the context of sequential data modeling. They also face a model size vs. accuracy trade-off. In this paper, we review major approaches for automatically synthesizing compact, yet accurate, DNN/LSTM models suitable for real-world applications. We also outline some challenges and future areas of exploration.

研究动机与目标

• 解决在物联网传感器和移动平台等资源受限的边缘设备上部署大型、计算成本高昂的DNNs和LSTMs的挑战。
• 降低在新数据到达时，从零开始重新训练大型模型所导致的高训练成本和内存占用。
• 在不访问原始训练数据的情况下，实现高效的模型压缩和增量学习，保护隐私。
• 开发一种无数据知识迁移框架，利用已训练模型生成高保真度的训练数据，用于剪枝和微调。
• 通过硬件感知的自动化架构搜索与剪枝技术，加速DNN训练和模型合成。

提出的方法

• 生长-剪枝合成范式在新数据到达时，通过梯度引导方式逐步扩展DNN的连接，增强学习能力。
• 在生长阶段之后，框架通过剪枝低 magnitude 权重生成紧凑且准确的模型，降低模型大小和推理延迟。
• 使用DeepInversion从已训练的分类器中生成高保真度、类别条件的合成图像，无需访问原始数据，利用批归一化统计量和特征正则化。
• 自适应DeepInversion通过在反演过程中引入教师与学生网络之间的竞争正则化，提升图像多样性。
• 该方法仅依赖已训练模型，无需原始训练数据，即可实现无数据知识迁移、模型剪枝和增量学习。
• 该方法可扩展至多种架构，包括ResNet-18、DeepSpeech2，并可适配LSTM、3D CNN和语言模型，实现无数据训练与压缩。

实验结果

研究问题

• RQ1 如何高效合成紧凑的DNNs和LSTMs，在降低计算与内存成本的同时保持高准确率，以适用于边缘部署？
• RQ2 在原始训练数据不可用的情况下，哪些技术可实现有效的增量学习，且无需从头开始重新训练？
• RQ3 训练好的DNN在多大程度上能生成保留原始数据分布的高保真度合成数据，以支持知识迁移与模型压缩？
• RQ4 仅使用已训练模型且不访问训练数据，能否实现无数据剪枝与模型压缩，且性能下降最小？
• RQ5 如何将硬件感知的模型设计与优化技术整合到自动化DNN合成流水线中，以实现真实场景的部署？

主要发现

• 与从零开始重新训练相比，生长-剪枝框架在ImageNet上的ResNet-18上将训练成本降低了64%，在AN4上的DeepSpeech2上降低了67%。
• DeepInversion成功地仅使用已训练分类器，便在所有类别上生成了高保真度且多样的图像，其性能与BigGAN相当，且无需在原始数据上训练GAN。
• 通过DeepInversion实现的无数据剪枝方法在CIFAR-10和ImageNet上达到了最先进水平，证明了无需原始数据即可实现有效知识迁移。
• 自适应DeepInversion通过教师与学生网络之间的竞争正则化，提升了图像多样性，从而增强了合成数据的质量。
• 该方法实现了高效的增量学习，显著降低了成本——ResNet-18降低了60%，DeepSpeech2降低了62%，同时保持了模型准确率。
• 该框架可扩展至多种架构，包括LSTM和3D CNN，支持视频、语音、文本和语言建模任务的无数据合成。