[论文解读] Computation-Performance Optimization of Convolutional Neural Networks with Redundant Kernel Removal

Chih‐Ting Liu, Yiheng Wu+2 more|arXiv (Cornell University)|May 30, 2017

Advanced Image Processing Techniques参考文献 17被引用 3

一句话总结

本文提出两种计算性能优化（CPO）方法——逐层优化（LWP）与梯度优化（GO）——以减少深度卷积神经网络中冗余的卷积核，从而实现嵌入式系统上的高效部署。通过基于稀疏性的核剪枝及在PSNR或计算量约束下优化移除比例，该方法在超分辨率任务中实现了高达50%的模型压缩，且PSNR仅下降0.25 dB。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) are widely employed in modern computer vision algorithms, where the input image is convolved iteratively by many kernels to extract the knowledge behind it. However, with the depth of convolutional layers getting deeper and deeper in recent years, the enormous computational complexity makes it difficult to be deployed on embedded systems with limited hardware resources. In this paper, we propose two computation-performance optimization methods to reduce the redundant convolution kernels of a CNN with performance and architecture constraints, and apply it to a network for super resolution (SR). Using PSNR drop compared to the original network as the performance criterion, our method can get the optimal PSNR under a certain computation budget constraint. On the other hand, our method is also capable of minimizing the computation required under a given PSNR drop.

研究动机与目标

• 解决由于高计算与内存需求，导致在资源受限的嵌入式系统上部署深度CNN的挑战。
• 通过移除冗余卷积核来降低模型复杂度，同时保持性能损失在可接受范围内。
• 通过自适应核剪枝实现计算成本与模型准确率之间的灵活权衡。
• 开发一种适用于多种网络架构与硬件平台的方法，避免针对特定架构的调优。
• 在严格的计算或准确率约束下，通过基于稀疏性的剪枝与基于回归的优化实现最优性能。

提出的方法

• 通过逐层稀疏性定义核冗余：将某一层中权重绝对值低于平均值的核视为冗余核。
• 通过按稀疏性排序并移除最冗余的核，应用逐层优化（LWP），在指定计算预算下最小化PSNR下降。
• 利用在随机剪枝比例上训练的回归模型预测PSNR下降，从而在目标PSNR约束下实现基于梯度的移除比例优化。
• 通过均方误差损失函数，使用梯度下降法优化缩减因子向量 $\mathbf{r}$，使其预测PSNR下降与目标值一致。
• 通过引入网络结构洞察（如优先保留深层中的核）对优化后的 $\mathbf{r}$ 进行微调。
• 在超分辨率CNN上验证该方法，以PSNR下降为主要性能指标。

实验结果

研究问题

• RQ1 是否能有效识别并移除CNN中的冗余卷积核，以降低计算成本，同时保持性能损失较小？
• RQ2 如何在固定计算预算下，对各层进行核剪枝以最小化PSNR退化？
• RQ3 基于学习的回归模型是否能准确预测任意剪枝比例下的PSNR下降，从而实现自动化优化？
• RQ4 不同网络层间剪枝比例的分布如何影响整体模型性能？
• RQ5 所提出方法在嵌入式平台上在模型大小、推理速度与准确率之间能实现多大程度的平衡？

主要发现

• LWP在Set5 ×2上实现模型大小50%的压缩（从20层减少至10层），PSNR仅下降0.24 dB；在Set14 ×2上下降0.26 dB。
• 通过在不同网络段调整剪枝比例——在浅层增加剪枝、在深层减少剪枝——将PSNR下降最小化至0.24 dB。
• GO成功优化了缩减因子向量，在Set5 ×2上实现0.29 dB的PSNR下降，在Set14 ×2上实现0.26 dB，与目标值高度吻合。
• 在随机剪枝比例上训练的回归模型支持基于梯度的优化，微调后PSNR下降降低至0.24 dB/0.25 dB。
• 最终优化的剪枝策略每层保留44至60个核，仅有一层被缩减至单个核，展示了有效的稀疏感知压缩能力。
• 该方法具有高度灵活性且与网络架构无关，无需低层硬件调优即可在多种嵌入式系统上部署。