[论文解读] SBNet: Sparse Blocks Network for Fast Inference

Mengye Ren, Andrei Pokrovsky+2 more|arXiv (Cornell University)|Jan 7, 2018

Advanced Neural Network Applications参考文献 34被引用 15

一句话总结

SBNet 提出了一种基于分块的稀疏卷积算法，通过利用计算掩码中的结构化空间稀疏性（如道路地图或预测的注意力图），在不损失精度的前提下显著加速了深度神经网络的推理过程，实现了 3D 目标检测的显著实际运行时间加速。在 KITTI 基准测试中，SBNet 相较于密集推理实现了 2.7× 的加速，且精度损失极小；当与轻量级掩码网络结合时，相对加速达到 26.6%。

ABSTRACT

Conventional deep convolutional neural networks (CNNs) apply convolution operators uniformly in space across all feature maps for hundreds of layers - this incurs a high computational cost for real-time applications. For many problems such as object detection and semantic segmentation, we are able to obtain a low-cost computation mask, either from a priori problem knowledge, or from a low-resolution segmentation network. We show that such computation masks can be used to reduce computation in the high-resolution main network. Variants of sparse activation CNNs have previously been explored on small-scale tasks and showed no degradation in terms of object classification accuracy, but often measured gains in terms of theoretical FLOPs without realizing a practical speed-up when compared to highly optimized dense convolution implementations. In this work, we leverage the sparsity structure of computation masks and propose a novel tiling-based sparse convolution algorithm. We verified the effectiveness of our sparse CNN on LiDAR-based 3D object detection, and we report significant wall-clock speed-ups compared to dense convolution without noticeable loss of accuracy.

研究动机与目标

• 通过利用特征图中的空间稀疏性，降低深度卷积神经网络在自动驾驶等实时应用中的计算成本。
• 设计一种实用的稀疏卷积算法，实现在 GPU 上超越理论 FLOP 减少的真正加速效果。
• 在不降低输入分辨率或模型容量的前提下，将稀疏推理集成到残差网络中。
• 在基于 LiDAR 的 3D 目标检测任务上，使用静态（道路地图）和动态（预测）计算掩码对方法进行评估。
• 证明稀疏推理可通过聚焦于相关区域的计算，同时提升速度与精度。

提出的方法

• 提出一种基于分块的稀疏卷积算法，将计算掩码划分为块以优化 GPU 内存访问和并行性。
• 使用来自先验知识（如道路地图）或轻量级网络（如 PSPNet）生成的二值计算掩码，引导稀疏计算。
• 将稀疏块集成到残差单元中，保持残差学习的同时加速推理。
• 实现优化的 GPU 内核，用于处理稀疏卷积片段，以利用结构化稀疏性并减少内存带宽压力。
• 应用对输入稀疏性不变的稀疏批归一化和归一化层，提升效率与精度。
• 将稀疏推理模块与轻量级掩码预测网络（如 PSPNet）结合，实现在推理过程中动态、灵活的稀疏性。

实验结果

研究问题

• RQ1 能否在现代 GPU 上利用计算掩码中的结构化空间稀疏性，实现真实、可测量的深度学习推理加速？
• RQ2 与通用稀疏卷积实现相比，基于分块优化的稀疏卷积是否在实际运行时间与效率方面表现更优？
• RQ3 即使使用低分辨率掩码，稀疏推理是否仍可通过聚焦于相关区域的计算来提升检测精度？
• RQ4 将稀疏块集成到残差网络中，对 3D 目标检测的速度与精度有何影响？
• RQ5 生成动态掩码的计算开销如何？整体系统是否仍能实现显著的加速？

主要发现

• 与密集基线相比，SBNet 在 KITTI 3D 检测基准上实现了平均 2.66× 的加速，且平均精度（AP）仅下降 0.29%。
• 使用道路地图掩码时，SBNet 实现了 1.78× 的加速，且 AP 提升 0.31%，表明稀疏性可增强精度。
• 使用 PSPNet 预测的掩码时，SBNet 实现了 2.66× 的加速，且结合掩码网络与 SBNet 的整体系统相比道路地图版本快 26.6%。
• 掩码网络（PSPNet）在 100×176 分辨率下仅增加 3.2ms 推理时间，占完整流水线总时间的不足 4%。
• 在 TOR4D 数据集上，SBNet 搭配道路掩码实现 1.78× 的加速，并获得 0.31% 的 AP 提升，证明稀疏性可同时提升速度与精度。
• 所提出的稀疏卷积内核在真实推理速度上优于先前的通用稀疏卷积（Sub-M [9]），尤其在高稀疏度水平下表现更优。