[论文解读] PolarFormer: Multi-camera 3D Object Detection with Polar Transformer

Yanqin Jiang, Li Zhang+5 more|arXiv (Cornell University)|Jun 30, 2022

Advanced Neural Network Applications被引用 7

一句话总结

PolarFormer 提出了一种基于 Transformer 的新型多摄像头 3D 目标检测架构，利用极坐标系更好地匹配自车的楔形视觉视角。通过使用跨注意力解码器处理不规则的极坐标网格，并采用多尺度表示策略应对物体尺度变化，该方法在 nuScenes 数据集上实现了最先进性能，mAP 相比基于笛卡尔坐标的基线方法提升 1.1%，NDS 提升 0.2%，且无需后处理。

ABSTRACT

3D object detection in autonomous driving aims to reason "what" and "where" the objects of interest present in a 3D world. Following the conventional wisdom of previous 2D object detection, existing methods often adopt the canonical Cartesian coordinate system with perpendicular axis. However, we conjugate that this does not fit the nature of the ego car's perspective, as each onboard camera perceives the world in shape of wedge intrinsic to the imaging geometry with radical (non-perpendicular) axis. Hence, in this paper we advocate the exploitation of the Polar coordinate system and propose a new Polar Transformer (PolarFormer) for more accurate 3D object detection in the bird's-eye-view (BEV) taking as input only multi-camera 2D images. Specifically, we design a cross attention based Polar detection head without restriction to the shape of input structure to deal with irregular Polar grids. For tackling the unconstrained object scale variations along Polar's distance dimension, we further introduce a multi-scalePolar representation learning strategy. As a result, our model can make best use of the Polar representation rasterized via attending to the corresponding image observation in a sequence-to-sequence fashion subject to the geometric constraints. Thorough experiments on the nuScenes dataset demonstrate that our PolarFormer outperforms significantly state-of-the-art 3D object detection alternatives.

研究动机与目标

• 为解决标准笛卡尔坐标系与多摄像头自车视角自然楔形透视之间的错位问题。
• 通过利用极坐标系在鸟瞰图（BEV）表示中的几何特性，提升 3D 目标检测精度。
• 克服极坐标网格结构不规则及径向维度上物体尺度无约束变化带来的挑战。
• 设计一种对输入网格形状不变且符合多摄像头图像几何约束的基于查询的检测头。
• 在无需深度监督或复杂后处理的前提下，证明其在纯摄像头 3D 检测中优于基于笛卡尔坐标的方法。

提出的方法

• 模型采用基于跨注意力的解码器头，不受规则网格结构限制，可有效处理从多摄像头图像中提取的不规则极坐标网格。
• 提出一种多尺度极坐标 BEV 表示学习策略，以应对极坐标系中径向（距离）维度上的物体尺度变化。
• 通过序列到序列的跨注意力机制，将极坐标表示从图像特征中栅格化，该机制在几何约束下关注对应图像观测。
• 基于 3D 射线位置学习或生成位置嵌入，以在极坐标 BEV 空间中保留空间结构。
• 采用跨平面编码器，将特征金字塔网络（FPN）的多层级特征融合进极坐标射线中，实现多分辨率特征学习。
• 消融实验验证了极坐标系与多尺度设计的必要性，尤其在处理尺度变化方面具有显著优势。

实验结果

研究问题

• RQ1 在多摄像头设置中，使用极坐标系是否相比传统笛卡尔坐标系能提升 3D 目标检测性能？
• RQ2 跨注意力解码器是否能有效处理不规则极坐标网格结构，而无需依赖规则网格假设？
• RQ3 在极坐标 BEV 空间中采用多尺度表示学习对检测性能有何影响，尤其对不同距离处大小各异的物体？
• RQ4 与笛卡尔 BEV 表示相比，极坐标系在减少近处与远处区域的信息损失方面能有多大改善？
• RQ5 在极坐标空间中采用统一检测头，是否能在无需后处理（如圆形 NMS）的情况下超越经过优化的笛卡尔基线方法？

主要发现

• PolarFormer 在 nuScenes 验证集上达到 0.389 mAP 和 0.456 NDS，相比强基线 Centerpoint 在 mAP 上提升 1.1%，在 NDS 上提升 0.2%。
• 即使不使用后处理，该模型仍超越 Centerpoint，证明了极坐标表示在特征学习与解码阶段的优越性。
• 极坐标表示减少了近处区域（红色）的信息损失，避免了远处区域（绿色）的无谓上采样，而笛卡尔 BEV 会扭曲空间分布。
• 多尺度极坐标 BEV 设计在处理尺度变化方面带来显著性能提升，而相同策略在笛卡尔空间中收益甚微。
• 消融实验表明，即使使用极坐标特征，若解码阶段采用笛卡尔坐标，性能仍不如全程使用极坐标的设计。
• 最优的极坐标 BEV 分辨率为 256 个方位角通道与 64 个径向通道，实现了空间分辨率与计算成本的平衡。