[论文解读] Computational optimization of convolutional neural networks using separated filters architecture

Elena Limonova, Alexander Sheshkus+1 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Data Processing Techniques被引用 6

一句话总结

本文通过将二维卷积核表示为可分离卷积核的线性组合，提出了一种卷积神经网络（CNNs）的计算优化方法，实现了高效训练与推理。该方法在字母和数字识别任务中实现了15%的加速，且未造成精度损失，适用于移动和嵌入式系统。

ABSTRACT

This paper considers a convolutional neural network transformation that reduces computation complexity and thus speedups neural network processing. Usage of convolutional neural networks (CNN) is the standard approach to image recognition despite the fact they can be too computationally demanding, for example for recognition on mobile platforms or in embedded systems. In this paper we propose CNN structure transformation which expresses 2D convolution filters as a linear combination of separable filters. It allows to obtain separated convolutional filters by standard training algorithms. We study the computation efficiency of this structure transformation and suggest fast implementation easily handled by CPU or GPU. We demonstrate that CNNs designed for letter and digit recognition of proposed structure show 15% speedup without accuracy loss in industrial image recognition system. In conclusion, we discuss the question of possible accuracy decrease and the application of proposed transformation to different recognition problems. convolutional neural networks, computational optimization, separable filters, complexity reduction.

研究动机与目标

• 解决在移动和嵌入式平台等资源受限环境中CNN的高计算成本问题。
• 在不损害模型精度的前提下，降低二维卷积运算的计算复杂度。
• 通过在变换后的滤波器架构上使用标准优化算法，实现高效训练与推理。
• 在实际工业图像识别系统中展示显著的推理速度提升，同时保持识别性能。

提出的方法

• 将二维卷积核表示为一维可分离卷积核的线性组合，以降低计算复杂度。
• 应用标准的反向传播和随机梯度下降算法，对变换后的网络进行端到端训练。
• 在CPU和GPU硬件上高效实现分离的滤波器架构。
• 采用参数共享机制，在保持表征能力的同时约束滤波器分解。
• 设计网络使得分解过程可微分，并与标准深度学习框架兼容。
• 通过将二维卷积替换为级联的一维卷积，优化推理过程，降低FLOPs和内存访问量。

实验结果

研究问题

• RQ1 二维卷积核能否在不造成显著精度下降的情况下被有效分解为可分离卷积核？
• RQ2 利用这种滤波器分解方法，计算复杂度最多可降低多少？
• RQ3 该方法在真实世界识别任务中的推理速度表现如何？
• RQ4 该变换是否与标准训练流程和硬件加速器兼容？
• RQ5 在实际部署场景中，模型复杂度与加速效果之间的权衡如何？

主要发现

• 所提出的方法在字母和数字识别任务中实现了15%的推理时间加速，且未造成任何精度损失。
• 变换后的CNN结构在工业图像识别基准测试中保持了高性能。
• 该方法与标准训练算法兼容，且可在CPU和GPU上高效实现。
• 由于滤波器分解后使用可分离卷积，计算复杂度显著降低。
• 该方法可在移动和嵌入式平台实现CNN的高效部署，且架构改动极小。
• 即使在变换和微调后，模型精度也未出现明显下降。