[论文解读] Characterising Across-Stack Optimisations for Deep Convolutional Neural Networks

Jack Turner, José Cano+4 more|arXiv (Cornell University)|Sep 19, 2018

Advanced Neural Network Applications参考文献 29被引用 7

一句话总结

本文提出了一种跨堆栈优化框架，用于在资源受限设备上部署深度卷积神经网络（CNN），通过将机器学习压缩技术——权重剪枝、通道剪枝和量化——与使用OpenMP、OpenCL及硬件感知调优的底层系统优化相结合。关键贡献在于生成了全面的Pareto曲线，表明朴素的压缩技术往往因硬件特定瓶颈而无法实现预期加速，且手写优化的OpenCL内核在小型输入模型上优于高级库（如CLBlast），揭示了机器学习与系统社区之间存在的关键差距。

ABSTRACT

Convolutional Neural Networks (CNNs) are extremely computationally demanding, presenting a large barrier to their deployment on resource-constrained devices. Since such systems are where some of their most useful applications lie (e.g. obstacle detection for mobile robots, vision-based medical assistive technology), significant bodies of work from both machine learning and systems communities have attempted to provide optimisations that will make CNNs available to edge devices. In this paper we unify the two viewpoints in a Deep Learning Inference Stack and take an across-stack approach by implementing and evaluating the most common neural network compression techniques (weight pruning, channel pruning, and quantisation) and optimising their parallel execution with a range of programming approaches (OpenMP, OpenCL) and hardware architectures (CPU, GPU). We provide comprehensive Pareto curves to instruct trade-offs under constraints of accuracy, execution time, and memory space.

研究动机与目标

• 通过统一神经网络压缩与底层硬件优化，弥合机器学习与系统社区之间的差距，以实现边缘部署。
• 评估常见压缩技术（权重剪枝、通道剪枝、量化）在资源受限硬件上的实际性能影响。
• 识别在不同硬件（CPU、GPU）和编程模型（OpenMP、OpenCL）下，压缩与并行化策略的最佳组合。
• 为在精度、内存和推理时间约束下在边缘设备上部署高效、准确的CNN提供可操作的指导。

提出的方法

• 作者定义了深度学习推理堆栈，以结构化方式组织从模型架构到低级代码和硬件的优化层次。
• 在CIFAR-10数据集上，对VGG-16、ResNet-18和MobileNet实现了并评估了三种压缩技术：权重剪枝、通道剪枝和量化。
• 在Odroid-XU4板上，对比了OpenMP（CPU）、CLBlast（优化BLAS库）和手写优化的OpenCL内核（GPU）的系统级优化效果。
• 通过推理时间、内存占用和精度三个指标衡量性能，并生成Pareto曲线以可视化权衡关系。
• 手写优化的OpenCL内核采用4×4工作组大小和16元素向量化，以实现GPU映射的最优性能。
• 所有实现均已开源，以支持社区扩展与可复现性。

实验结果

研究问题

• RQ1 在资源受限硬件上，常见压缩技术（剪枝、量化）在多大程度上实现了预期的性能提升？
• RQ2 当应用于压缩后的CNN时，不同低级编程模型（OpenMP、OpenCL、CLBlast）如何影响推理性能？
• RQ3 为何某些压缩技术在减少乘加操作后仍无法提升推理速度？其底层硬件瓶颈是什么？
• RQ4 在小输入场景下，手写优化的内核是否能优于CLBlast等优化库？若能，其适用条件是什么？
• RQ5 在边缘部署中，模型压缩与系统级优化的最佳跨堆栈组合是什么？

主要发现

• 在Odroid-XU4 GPU上，手写优化的OpenCL内核在小型输入模型（如CIFAR-10）上优于OpenMP和CLBlast，主要由于库调用开销更低。
• 尽管CLBlast在大规模运算中表现优异，但在处理小矩阵时（如ResNet-18）导致高达10倍的性能下降，归因于其对小规模操作的低效处理。
• 权重剪枝产生的稀疏格式反而增加了小滤波器（如3×3卷积）的内存占用，与“稀疏性总是减少内存占用”的普遍认知相悖。
• 尽管参数量减少，但在测试硬件上，权重剪枝和量化并未带来预期的加速，表明机器学习优化目标与系统级性能之间存在错位。
• 推理时间的预期与实际差异显著（如VGG-16中），表明内存访问模式和硬件特性至关重要，而不仅仅是计算量的减少。
• 本研究揭示，有效的边缘部署需要在整个推理堆栈上进行协同设计，孤立的优化常因未预期的系统级瓶颈而失效。