[论文解读] Achieving Real-Time LiDAR 3D Object Detection on a Mobile Device

Pu Zhao, Wei Niu+8 more|arXiv (Cornell University)|Dec 26, 2020

Advanced Neural Network Applications参考文献 61被引用 5

一句话总结

本文提出了一种编译器感知的、基于强化学习的统一框架，联合优化网络增强与剪枝，实现在移动设备上的实时3D LiDAR目标检测。通过动态选择每层的最优卷积核大小和剪枝策略，该框架在三星Galaxy S20上实现了97ms的平均推理时间，检测精度达到最先进水平，标志着首次在移动GPU上实现编译器优化的实时3D检测。

ABSTRACT

3D object detection is an important task, especially in the autonomous driving application domain. However, it is challenging to support the real-time performance with the limited computation and memory resources on edge-computing devices in self-driving cars. To achieve this, we propose a compiler-aware unified framework incorporating network enhancement and pruning search with the reinforcement learning techniques, to enable real-time inference of 3D object detection on the resource-limited edge-computing devices. Specifically, a generator Recurrent Neural Network (RNN) is employed to provide the unified scheme for both network enhancement and pruning search automatically, without human expertise and assistance. And the evaluated performance of the unified schemes can be fed back to train the generator RNN. The experimental results demonstrate that the proposed framework firstly achieves real-time 3D object detection on mobile devices (Samsung Galaxy S20 phone) with competitive detection performance.

研究动机与目标

• 在资源受限的移动边缘设备（如自动驾驶中使用的智能手机）上实现实时3D目标检测。
• 克服现有深度神经网络加速框架中固定剪枝策略和手动超参数调优的局限性。
• 将编译器感知优化集成到神经架构搜索过程中，考虑并行性和执行效率。
• 在满足严格实时推理约束（如<100ms）的前提下，实现高检测精度。
• 证明灵活的、逐层的网络增强与剪枝可优于统一剪枝方法，在速度与精度方面均表现更优。

提出的方法

• 使用生成器RNN自动探索一个统一的搜索空间，该空间结合了每层的网络增强（如卷积核大小调优）和剪枝（如滤波器、模式、块剪枝）操作。
• 框架采用强化学习，其奖励函数平衡检测mAP与推理速度，并通过编译器优化的代码生成提供反馈。
• 采用编译器感知的代码生成技术，评估Winograd变换和分块等优化下的实际推理速度，实现在搜索过程中的真实性能估计。
• 应用贝叶斯优化（BO）以高效探索高维搜索空间，加速生成器RNN的训练。
• 搜索空间包含卷积核大小调整与多种剪枝类型，支持逐层优化策略。
• 框架在基于PointPillars的3D检测模型上进行评估，使用KITTI数据集，推理在三星Galaxy S20移动GPU上测量。

实验结果

研究问题

• RQ1 统一的、编译器感知的框架能否联合优化网络增强与剪枝，实现在移动GPU上的实时3D目标检测？
• RQ2 与统一剪枝策略相比，逐层灵活剪枝与卷积核大小调优是否在速度与精度方面表现更优？
• RQ3 结合编译器优化反馈的强化学习能否有效引导高性能、低延迟模型的搜索？
• RQ4 卷积核大小调优与Winograd变换在移动边缘设备上对推理速度的提升程度如何？
• RQ5 与最先进3D检测模型相比，该方法在移动硬件上的实时性能与精度表现如何？

主要发现

• 所提框架在三星Galaxy S20移动GPU上实现了97ms的平均推理时间，满足实时性要求（<100ms）。
• 在KITTI数据集上，该方法实现了76.38%的mAP，优于原始PointPillars模型（easy集上84.05% mAP）及其他剪枝基线方法。
• 在86%的剪枝率下，该方法的检测性能优于滤波器剪枝（74.89% mAP）与模式剪枝（73.77% mAP）。
• 在服务器GPU（GTX 1080Ti）上，该方法实现18ms的推理时间，比非PointPillar基方法至少快2.7倍，且精度具有竞争力。
• 当实时约束收紧至90ms时，该方法在89ms的平均速度下仍保持74.15%的mAP，表现出对更严格延迟约束的鲁棒性。
• 该框架是首个支持在移动GPU上实现全编译器优化的实时3D目标检测，因为大多数现有方法依赖于不支持或不可优化的层（如3D稀疏卷积）