[论文解读] Monocular 3D Object Detection and Box Fitting Trained End-to-End Using Intersection-over-Union Loss

Eskil Jörgensen, Christopher Zach+1 more|arXiv (Cornell University)|Jun 19, 2019

Advanced Neural Network Applications参考文献 35被引用 65

一句话总结

引入 SS3D，一种单阶段的单目3D检测器，它回归代理目标并通过可微分优化器拟合3D框，端到端通过3D IoU损失训练，在实时速度（≈20 FPS）下实现KITTI单目的最新性能。

ABSTRACT

Three-dimensional object detection from a single view is a challenging task which, if performed with good accuracy, is an important enabler of low-cost mobile robot perception. Previous approaches to this problem suffer either from an overly complex inference engine or from an insufficient detection accuracy. To deal with these issues, we present SS3D, a single-stage monocular 3D object detector. The framework consists of (i) a CNN, which outputs a redundant representation of each relevant object in the image with corresponding uncertainty estimates, and (ii) a 3D bounding box optimizer. We show how modeling heteroscedastic uncertainty improves performance upon our baseline, and furthermore, how back-propagation can be done through the optimizer in order to train the pipeline end-to-end for additional accuracy. Our method achieves SOTA accuracy on monocular 3D object detection, while running at 20 fps in a straightforward implementation. We argue that the SS3D architecture provides a solid framework upon which high performing detection systems can be built, with autonomous driving being the main application in mind.

研究动机与目标

• 推动在机器人/自动驾驶中实现低成本感知的单目3D目标检测。
• 提出一个轻量级的单阶段CNN，回归代理的3D表示以实现准确的3D框拟合。
• 通过一个非线性最小二乘3D框优化器，并使用IoU损失，实现端到端训练。
• 建模并比较不确定性（同方差与异方差），以提高回归可靠性。
• 展示在KITTI单目数据集上的先进性能及实时运行能力。

提出的方法

• 单阶段CNN（SS3D）对每个检测输出26个代理回归目标，以及类别分数。
• 在每个检测之后进行非极大抑制，并行执行非线性最小二乘的3D框拟合。
• 通过最小化带有权重的加权最小二乘目标 E(b;y) 来推断3D框参数，权重反映各目标的不确定性。
• 通过优化器的反向传播进行端到端训练，使用3D IoU损失（IoU3D）。
• 三种训练变体：(i) 回归的同方差噪声，(ii) 每输出的不不确定性异方差，(iii) 通过带IoU损失的优化进行反向传播。
• 代理目标包括：相对2D框坐标、距离 d、观测角度（sin, cos）、对数尺度目标，以及作为像素相对目标的3D角点投影。

实验结果

研究问题

• RQ1 单阶段单目检测器是否能够通过回归代理的3D表示并在检测后拟合3D框来产生具有竞争力的3D检测？
• RQ2 对每个输出建模不确定性（同方差/异方差）是否能提升3D框拟合及总体检测精度？
• RQ3 通过可微分3D框优化器进行端到端训练是否对KITTI数据集的单目3D目标检测有益？
• RQ4 SS3D 在KITTI上与先前的单目和立体方法在3D IoU、AP和ALP方面有怎样的比较？
• RQ5 在实时单目感知中，SS3D在速度与精度之间有哪些权衡？

主要发现

• SS3D 在公开发表的单目方法中，在KITTI上的单目3D检测性能达到最新水平。
• 三种方法显示出逐步提升，方法3（端到端IoU训练）表现最佳。
• 推理时间约为每张图片0.051秒，约实现20 FPS。
• 学习到的不确定性与目标类型一致（例如像素空间目标的方差较大；距离的不确定性随距离增加而增大）。
• 通过3D框优化器进行的端到端训练相较非端到端训练带来进一步提升。
• 与立体基线相比，SS3D在KITTI单目评估中具有竞争力且速度显著更快。