[论文解读] Pillar-based Object Detection for Autonomous Driving

Yue Wang, Alireza Fathi+5 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Neural Network Applications参考文献 53被引用 29

一句话总结

本文提出一种基于柱状体（pillar-based）、无锚框（anchor-free）的3D目标检测框架，用于自动驾驶场景，直接在每个柱状体上预测边界框，从而消除锚框分配带来的超参数调优与类别不平衡问题。通过引入圆柱投影作为鸟瞰图的互补视图，并采用双线性插值实现柱状体到点的特征投影，该方法在Waymo开放数据集上实现了最先进性能，相较于先前方法，3D mAP提升6.87，2D mAP提升6.71。

ABSTRACT

We present a simple and flexible object detection framework optimized for autonomous driving. Building on the observation that point clouds in this application are extremely sparse, we propose a practical pillar-based approach to fix the imbalance issue caused by anchors. In particular, our algorithm incorporates a cylindrical projection into multi-view feature learning, predicts bounding box parameters per pillar rather than per point or per anchor, and includes an aligned pillar-to-point projection module to improve the final prediction. Our anchor-free approach avoids hyperparameter search associated with past methods, simplifying 3D object detection while significantly improving upon state-of-the-art.

研究动机与目标

• 为解决基于锚框的3D目标检测在自动驾驶中面临的局限性，包括对超参数的敏感性以及因正样本稀疏导致的类别不平衡问题。
• 通过直接在每个柱状体上预测边界框参数，而非在锚框或点上预测，构建更简单、更高效的检测流程。
• 通过识别鸟瞰图的最佳互补视图，优化多视角特征学习，最大限度减少失真与遮挡。
• 通过双线性插值减少柱状体到点的特征投影中的空间混叠（spatial aliasing），提升特征对齐与预测精度。
• 在Waymo开放数据集上实现最先进性能，同时保持极低的架构复杂度，并无需锚框超参数调优。

提出的方法

• 模型采用稀疏点云的柱状体表示，其中每个柱状体聚合鸟瞰图中固定网格单元内的3D点。
• 多视角特征学习模块结合鸟瞰图与一种新型的圆柱视图特征，避免了球面投影中常见的Z轴失真。
• 核心检测头直接在每个柱状体上预测边界框参数（中心、尺寸、方向），无需锚框分配，显著降低超参数复杂度。
• 提出一种新型的对齐柱状体到点的特征投影模块，利用双线性插值将多视角特征从柱状体映射到单个点，减少量化与混叠误差。
• 在Waymo开放数据集上进行模型训练与评估，采用标准的3D与2D mAP指标，IoU阈值为0.7。
• 消融研究对比了不同视图组合、插值方法及各组件的贡献，以验证设计选择的有效性。

实验结果

研究问题

• RQ1 在自动驾驶的3D目标检测中，相较于基于锚框的预测方式，基于柱状体的边界框参数预测是否能带来更好的性能表现并减少超参数调优？
• RQ2 在鸟瞰图3D检测的多视角特征学习中，圆柱投影是否优于球面或XZ视图，作为鸟瞰图的互补视图？
• RQ3 在柱状体到点的特征投影中，双线性插值是否显著优于最近邻插值，从而减少空间混叠并提升检测精度？
• RQ4 完全基于柱状体、无锚框的检测框架是否能在大规模自动驾驶基准上实现最先进性能？
• RQ5 在稀疏3D点云场景下，如何选择最优的视图组合与特征融合策略，以最大化检测性能？

主要发现

• 所提出的基于柱状体、无锚框的检测模型在Waymo开放数据集上相较表现最佳的基于锚框模型，3D mAP提升6.87，2D mAP提升6.71。
• 鸟瞰图与圆柱视图的组合优于所有其他视图组合（包括球面与XZ视图），因其显著减少Z轴失真并提供更优的覆盖范围。
• 在柱状体到点的投影中采用双线性插值显著提升了检测性能，优于最近邻插值，所有指标均表现更优，3D mAP整体提升达2.44个百分点。
• 消融研究证实，仅使用基于柱状体的预测头即可在性能上超越基于锚框的基线模型，即使不引入其他组件。
• 圆柱视图相比球面视图表现更优，在BEV + CYV配置下，3D mAP比BEV + SPV高出2.02个百分点。
• 该模型在无需任何锚框超参数调优的情况下实现最先进性能，证明了其在真实自动驾驶场景中的简洁性与鲁棒性。