[论文解读] Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation

Emily Denton, Wojciech Zaremba+3 more|arXiv (Cornell University)|Apr 2, 2014

Advanced Neural Network Applications参考文献 15被引用 1,095

一句话总结

本文提出线性压缩技术——特别是低秩近似和滤波器聚类——通过利用卷积滤波器中的结构冗余，加速大规模卷积神经网络（CNN）的推理过程。该方法在CPU和GPU上均实现了2–3倍的加速，且精度损失低于1%，同时将全连接层的参数量减少多达13倍。

ABSTRACT

We present techniques for speeding up the test-time evaluation of large convolutional networks, designed for object recognition tasks. These models deliver impressive accuracy but each image evaluation requires millions of floating point operations, making their deployment on smartphones and Internet-scale clusters problematic. The computation is dominated by the convolution operations in the lower layers of the model. We exploit the linear structure present within the convolutional filters to derive approximations that significantly reduce the required computation. Using large state-of-the-art models, we demonstrate we demonstrate speedups of convolutional layers on both CPU and GPU by a factor of 2x, while keeping the accuracy within 1% of the original model.

研究动机与目标

• 解决在智能手机和大规模计算集群等资源受限设备上评估大型CNN所带来的高计算成本问题。
• 在不造成显著精度下降的前提下，缩短最先进ImageNet模型的推理时间。
• 通过线性代数压缩技术，利用卷积滤波器中固有的冗余性，最小化计算负载。
• 证明压缩技术可有效应用于早期卷积层和全连接层，实现高效部署。
• 表明压缩技术可跨层级联，实现累积加速，同时保持模型性能。

提出的方法

• 对4D卷积滤波器权重应用低秩张量分解（如基于SVD的方法），以减少参数数量和计算量。
• 使用单色近似和基于外积分解的双聚类方法，挖掘同一层中滤波器之间的相似性。
• 执行逐层压缩：先压缩第一卷积层，微调上层网络，再压缩第二层并重复此过程。
• 对全连接层应用标准SVD，将参数量减少多达13倍。
• 在每次压缩步骤后进行微调，以恢复模型精度，确保性能下降最小化。
• 将压缩技术与现有加速方法（如量化和基于傅里叶的卷积）结合，实现正交增益。

实验结果

研究问题

• RQ1 卷积滤波器中的结构冗余是否可被利用以减少大型CNN的推理时间？
• RQ2 低秩近似和滤波器聚类在加速推理的同时，能在多大程度上保持精度？
• RQ3 跨多层级联压缩在实现累积加速方面有多高效？
• RQ4 全连接层中的参数减少是否能显著提升移动端部署的内存效率？
• RQ5 压缩过程是否具有正则化效应，可能提升泛化能力？

主要发现

• 所提出的压缩技术在最先进ImageNet模型的卷积层上，于CPU和GPU上均实现了2–3倍的加速。
• 在精度损失低于1%的前提下，该方法通过基于SVD的低秩近似，将全连接层的参数量减少了多达13倍。
• 在第一卷积层上应用单色近似，使参数量减少3倍，误差仅增加0.43%。
• 在第二层上使用双聚类与外积分解，使参数量减少5.3倍，误差增加0.68%。
• 在前两层上级联压缩，可在保持精度与原始模型相差1%以内的同时，实现更大的整体加速。
• 压缩过程似乎能清理滤波器，且偶尔能改善测试误差，表明可能存在潜在的正则化效应。