[论文解读] Improving Device-Edge Cooperative Inference of Deep Learning via 2-Step Pruning

Wenqi Shi, Yunzhong Hou+4 more|arXiv (Cornell University)|Mar 8, 2019

IoT and Edge/Fog Computing参考文献 13被引用 13

一句话总结

本文提出一种两步剪枝框架，通过联合优化模型压缩与设备-边缘计算划分，以减少移动端深度神经网络（DNN）推理的端到端延迟。通过分两个阶段迭代剪枝：第一阶段剪枝以减少计算量，第二阶段剪枝以减少传输量，随后可选地应用无损PNG编码，该框架在非剪枝划分方案下，实现了最高达25.6倍的传输工作量降低、6.01倍的总计算速度提升，以及4.81倍的端到端延迟降低，尤其在WiFi环境下表现显著。

ABSTRACT

Deep neural networks (DNNs) are state-of-the-art solutions for many machine learning applications, and have been widely used on mobile devices. Running DNNs on resource-constrained mobile devices often requires the help from edge servers via computation offloading. However, offloading through a bandwidth-limited wireless link is non-trivial due to the tight interplay between the computation resources on mobile devices and wireless resources. Existing studies have focused on cooperative inference where DNN models are partitioned at different neural network layers, and the two parts are executed at the mobile device and the edge server, respectively. Since the output data size of a DNN layer can be larger than that of the raw data, offloading intermediate data between layers can suffer from high transmission latency under limited wireless bandwidth. In this paper, we propose an efficient and flexible 2-step pruning framework for DNN partition between mobile devices and edge servers. In our framework, the DNN model only needs to be pruned once in the training phase where unimportant convolutional filters are removed iteratively. By limiting the pruning region, our framework can greatly reduce either the wireless transmission workload of the device or the total computation workload. A series of pruned models are generated in the training phase, from which the framework can automatically select to satisfy varying latency and accuracy requirements. Furthermore, coding for the intermediate data is added to provide extra transmission workload reduction. Our experiments show that the proposed framework can achieve up to 25.6$ imes$ reduction on transmission workload, 6.01$ imes$ acceleration on total computation and 4.81$ imes$ reduction on end-to-end latency as compared to partitioning the original DNN model without pruning.

研究动机与目标

• 为解决设备-边缘协同DNN推理中因中间特征图大小超过原始数据而导致的高传输延迟与计算不平衡问题。
• 在带宽与延迟约束下，降低移动DNN推理的端到端延迟与能耗。
• 实现基于系统状态（如信道质量、延迟、精度要求）的灵活、自动化的剪枝比例与划分点选择。
• 通过结合剪枝与压缩技术，超越现有方法（如特征编码与早期退出），实现更优的精度-延迟权衡。
• 提供与无损编码（如PNG）兼容的框架，以进一步降低传输开销而不损失精度。

提出的方法

• 该框架执行两阶段迭代信道剪枝：第一阶段剪枝滤波器以减少总计算工作量；第二阶段进一步剪枝以最小化中间特征图大小以利于传输。
• 剪枝在每层内选择性应用，聚焦于减少冗余通道，从而在不造成显著精度损失的前提下最小化数据量。
• 在训练过程中生成一系列压缩比不同的剪枝模型，支持根据系统约束在运行时进行选择。
• 该框架支持在最大池化层中自动选择最优划分点，因其具备4倍的空间下采样能力与较低的计算成本。
• 在划分点对中间特征应用无损PNG编码以进一步压缩数据，随着剪枝增加冗余度，其收益呈递减趋势。
• 该方法在VGG模型上进行评估，与基线非剪枝划分方案及先前的特征编码方法（如基于JPEG的）进行对比。

实验结果

研究问题

• RQ1 两阶段剪枝策略是否能有效降低设备-边缘DNN推理中的计算与传输工作量？
• RQ2 剪枝与无损编码（如PNG）的结合如何在保持精度的前提下提升传输效率？
• RQ3 在不同无线条件下，如何确定最小化端到端延迟的最优划分点？
• RQ4 与现有特征编码技术相比，该两步剪枝框架在精度与延迟方面表现如何？
• RQ5 该框架在不同系统约束（如3G、4G、WiFi）下，其适应能力如何，能否在保持高精度的同时实现高效运行？

主要发现

• 该两步剪枝框架相较于非剪枝DNN划分方案，实现了最高达25.6倍的传输工作量降低。
• 由于两阶段中均有效剪枝滤波器，总计算工作量加速了6.01倍。
• 在WiFi环境下，端到端延迟最高降低4.81倍，4G与3G网络下分别实现3.69倍与2.61倍的延迟改善。
• 即使在高压缩比下，该框架仍保持低于4%的精度损失，优于JPEG等有损编码方法。
• PNG编码在中间特征上额外实现2倍的压缩率，且不损失精度，尤其在剪枝程度适中时效果显著。
• 后端的最大池化层（如Max Pool 3–5）是最优的划分点，因其对剪枝的敏感度较低且具备高压缩潜力。