[论文解读] A Privacy-Preserving DNN Pruning and Mobile Acceleration Framework.

Zheng Zhan, Yifan Gong+8 more|arXiv (Cornell University)|Mar 13, 2020

Advanced Neural Network Applications被引用 3

一句话总结

该论文提出了一种保护隐私的DNN剪枝与移动加速框架，采用基于ADMM的迭代剪枝方法并利用合成数据压缩模型，无需访问真实用户数据。该方法在保持近乎零精度损失的前提下，实现了相较于TensorFlow-Lite的4.2倍、TVM的2.5倍以及MNN的2.0倍速度提升，使移动设备上的高效、私密推理成为可能。

ABSTRACT

Weight pruning of deep neural networks (DNNs) has been proposed to satisfy the limited storage and computing capability of mobile edge devices. However, previous pruning methods mainly focus on reducing the model size and/or improving performance without considering the privacy of user data. To mitigate this concern, we propose a privacy-preserving-oriented pruning and mobile acceleration framework that does not require the private training dataset. At the algorithm level of the proposed framework, a systematic weight pruning technique based on the alternating direction method of multipliers (ADMM) is designed to iteratively solve the pattern-based pruning problem for each layer with randomly generated synthetic data. In addition, corresponding optimizations at the compiler level are leveraged for inference accelerations on devices. With the proposed framework, users could avoid the time-consuming pruning process for non-experts and directly benefit from compressed models. Experimental results show that the proposed framework outperforms three state-of-art end-to-end DNN frameworks, i.e., TensorFlow-Lite, TVM, and MNN, with speedup up to 4.2X, 2.5X, and 2.0X, respectively, with almost no accuracy loss, while preserving data privacy.

研究动机与目标

• 解决现有DNN剪枝方法缺乏隐私保护的问题，这些方法需要访问私有的训练数据集。
• 在不暴露真实用户数据的前提下，实现在移动边缘设备上的高效模型压缩与推理加速。
• 开发一种用户友好的框架，消除对耗时的手动剪枝的依赖，尤其适用于非专家用户。
• 在保持剪枝后模型精度的同时，实现移动设备上的高推理速度提升。

提出的方法

• 该框架采用基于ADMM的权重剪枝技术，通过使用随机生成的合成数据而非真实训练数据，逐层迭代求解基于模式的剪枝问题。
• 利用合成数据进行DNN的训练与剪枝，确保在过程中不暴露任何用户隐私数据。
• 通过引入逐层剪枝与交替方向优化的结合，实现在压缩过程中保持模型精度。
• 在剪枝后对推理过程应用编译器级别的优化，以加速移动设备上的运行。
• 该框架设计为端到端系统，支持压缩模型的直接部署，无需专家干预。

实验结果

研究问题

• RQ1 在不访问私有训练数据的情况下，能否有效执行DNN剪枝并保持模型精度？
• RQ2 与现有剪枝框架相比，基于ADMM的剪枝方法结合合成数据在推理速度和精度方面表现如何？
• RQ3 编译器级别的优化在剪枝后能在多大程度上提升移动设备上的推理性能？
• RQ4 该框架是否可被非专家用户使用，而无需手动调优或耗时的重新训练？

主要发现

• 所提出的框架在移动设备上的推理性能上实现了相较于TensorFlow-Lite的4.2倍、TVM的2.5倍以及MNN的2.0倍速度提升。
• 该框架在所有评估模型上均保持了近乎零的精度损失，展现出强大的泛化能力与鲁棒性。
• 通过使用合成数据，该框架在不损害模型压缩效率或推理效率的前提下，有效保护了用户数据隐私。
• ADMM驱动的剪枝与编译器级别优化的结合，实现了在移动边缘设备上的高效部署。