[论文解读] An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection

Youngwan Lee, Joong‐won Hwang+3 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Neural Network Applications被引用 6

一句话总结

本文提出VoVNet，一种新型主干网络，通过使用单次聚合（One-Shot Aggregation, OSA）替代DenseNet的密集连接，以在显著降低内存访问成本和GPU计算开销的同时，保持多感受野特征表示能力。VoVNet的推理速度比DenseNet快2倍，能耗降低1.6×–4.1×，在速度、能效和小目标检测精度方面均优于DenseNet与ResNet。

ABSTRACT

As DenseNet conserves intermediate features with diverse receptive fields by aggregating them with dense connection, it shows good performance on the object detection task. Although feature reuse enables DenseNet to produce strong features with a small number of model parameters and FLOPs, the detector with DenseNet backbone shows rather slow speed and low energy efficiency. We find the linearly increasing input channel by dense connection leads to heavy memory access cost, which causes computation overhead and more energy consumption. To solve the inefficiency of DenseNet, we propose an energy and computation efficient architecture called VoVNet comprised of One-Shot Aggregation (OSA). The OSA not only adopts the strength of DenseNet that represents diversified features with multi receptive fields but also overcomes the inefficiency of dense connection by aggregating all features only once in the last feature maps. To validate the effectiveness of VoVNet as a backbone network, we design both lightweight and large-scale VoVNet and apply them to one-stage and two-stage object detectors. Our VoVNet based detectors outperform DenseNet based ones with 2x faster speed and the energy consumptions are reduced by 1.6x - 4.1x. In addition to DenseNet, VoVNet also outperforms widely used ResNet backbone with faster speed and better energy efficiency. In particular, the small object detection performance has been significantly improved over DenseNet and ResNet.

研究动机与目标

• 为解决DenseNet在实时目标检测中虽具备强大特征表示能力，但内存访问成本高、GPU计算效率差的问题。
• 克服因密集连接导致输入通道数呈二次增长的问题，从而减少计算与能耗开销。
• 在保留DenseNet多感受野特征聚合优势的同时，消除冗余的中间连接。
• 设计一种主干网络，使其在速度、能效和检测精度（尤其是小目标）方面优于ResNet与DenseNet。
• 验证VoVNet作为一阶段与两阶段检测器（包括从零开始训练）的可行、高效主干网络。

提出的方法

• 提出单次聚合（OSA）模块，该模块仅在最终特征图中一次性拼接所有中间特征，避免通道数线性增长。
• 通过堆叠OSA模块构建VoVNet，确保各层输入张量大小恒定，从而降低内存访问成本并提升GPU并行效率。
• 引入多尺度特征聚合机制，在不重复使用特征的前提下保留来自不同层的多样化感受野表示。
• 采用瓶颈结构结合深度可分离卷积，在保持低FLOPs的同时，实现在最终OSA模块中的高输出通道扩展。
• 在DSOD、RefineDet和Mask R-CNN等多种检测器上，通过轻量级与大规模VoVNet变体验证架构性能。
• 在COCO数据集上从零开始训练模型，评估其在无ImageNet预训练情况下的泛化能力与效率。

实验结果

研究问题

• RQ1 能否在消除DenseNet计算与能耗低效性的同时，保留其多感受野特征表示能力？
• RQ2 用单次聚合步骤替代密集连接，是否能显著降低内存访问成本并提升GPU计算效率？
• RQ3 更高效的主干架构能否在检测精度（尤其是小目标）方面优于DenseNet与ResNet？
• RQ4 所提架构在降低推理时间与能耗的同时，能在多大程度上保持或提升实时检测中的精度？
• RQ5 VoVNet在从零开始训练的情况下，能否作为Mask R-CNN等两阶段检测器的有效主干网络？

主要发现

• 基于VoVNet的检测器在FLOPs与参数量更少的情况下，推理速度比DenseNet基线快2倍，能耗降低1.6×–4.1×。
• VoVNet-39每张图像仅消耗4.8J能量，仅为DenseNet-161（9.6J）的一半，且精度相当。
• 与DenseNet-121和DenseNet-161相比，VoVNet-39在小目标AP上分别提升1.9%与1.2%，展现出更强的细粒度检测特征表示能力。
• 在Mask R-CNN实验中，VoVNet-39在COCO验证集上达到41.7 AP，推理时间仅152ms，优于ResNet-50-GN（39.5 AP，157ms），在精度与速度上均更优。
• VoVNet-57在ResNet-101基线模型中达到SOTA性能，AP为41.9，推理时间为159ms，展现出良好的可扩展性与效率。
• VoVNet成功实现了在32GB V100 GPU上从零开始训练Mask R-CNN，而基于DenseNet的模型因内存占用过大而失败。