[论文解读] Automatic Rank Selection for High-Speed Convolutional Neural Network

Hyeji Kim, Chong‐Min Kyung|arXiv (Cornell University)|Jun 28, 2018

Advanced Neural Network Applications参考文献 12被引用 4

一句话总结

该论文提出了一种基于低秩分解的模型级秩选择算法，通过线性近似精度函数和空间约束参数，高效搜索最优秩组合，以加速卷积神经网络。该方法在 VGG-16 上实现了 4.03× 的加速，top-5 准确率达到 90.0%，在推理和训练时间上均优于当前最先进方法，同时保持高准确率。

ABSTRACT

Low-rank decomposition plays a central role in accelerating convolutional neural network (CNN), and the rank of decomposed kernel-tensor is a key parameter that determines the complexity and accuracy of a neural network. In this paper, we define rank selection as a combinatorial optimization problem and propose a methodology to minimize network complexity while maintaining the desired accuracy. Combinatorial optimization is not feasible due to search space limitations. To restrict the search space and obtain the optimal rank, we define the space constraint parameters with a boundary condition. We also propose a linearly-approximated accuracy function to predict the fine-tuned accuracy of the optimized CNN model during the cost reduction. Experimental results on AlexNet and VGG-16 show that the proposed rank selection algorithm satisfies the accuracy constraint. Our method combined with truncated-SVD outperforms state-of-the-art methods in terms of inference and training time at almost the same accuracy.

研究动机与目标

• 为解决 CNN 加速中逐层秩选择效率低下的问题，该方法可避免陷入局部最优。
• 在保持目标准确率的前提下，减少跨所有层的最优秩选择的计算搜索空间。
• 开发一种预测性精度函数，可在无需完整微调的情况下估计微调后的性能。
• 通过最优低秩分解实现 CNN 在资源受限设备上的高效、高速部署。

提出的方法

• 将秩选择建模为受精度和复杂度约束的组合优化问题。
• 引入具有边界条件的空间约束参数，将搜索空间限制在可行的秩组合范围内。
• 采用线性近似的精度函数，将微调前的精度与微调后的性能相关联，以指导优化过程。
• 采用模型级搜索策略，同时更新所有层的秩，避免逐层贪婪方法中常见的局部最优问题。
• 应用截断 SVD 实现低秩分解，并基于精度和成本约束，迭代选择最优秩组合。
• 基于在低成本模型上进行微调实验所得的精度阈值，设定终止条件。

实验结果

研究问题

• RQ1 模型级秩选择策略是否能优于逐层贪婪方法，找到全局最优的秩配置？
• RQ2 微调前的测试精度在多大程度上能准确预测低秩 CNN 的最终微调精度？
• RQ3 为在不牺牲最优性的情况下减少秩选择的搜索空间，需要哪些约束条件？
• RQ4 所提方法是否能在保持高准确率的同时，实现比当前最先进方法更快的推理和训练时间？

主要发现

• 所提方法在 VGG-16 上实现了 4.03× 的加速，top-5 准确率达到 90.0%，在推理和训练时间上均优于先前方法。
• 模型级搜索策略成功避免了局部最优，获得的总体秩配置优于逐层方法。
• 微调前后的精度线性近似可实现无需完整微调即可准确预测最终性能。
• 通过优化秩选择，将 VGG-16 的卷积核层数从 37 降低至 29，显著提升了推理速度。
• 在 GPU 上，所提模型的前向传播时间仅为 8.39ms（比基线快 2.82×），反向传播时间为 12.11ms（快 1.49×）。
• 在显著降低计算成本的同时，保持了接近原始模型的准确率（top-5 准确率为 89.9%），展现出优异的性能-成本权衡效率。