[论文解读] Monocular 3D Object Detection Leveraging Accurate Proposals and Shape Reconstruction

Jason S. Ku, Alex Pon+1 more|arXiv (Cornell University)|Apr 2, 2019

Robotics and Sensor-Based Localization参考文献 42被引用 21

一句话总结

该论文提出MonoPSR，一种单目3D目标检测方法，通过针孔相机模型几何关系从2D检测生成精确的3D提议，并利用可学习的点云在物体坐标系中联合优化3D定位与形状重建。通过引入一种新颖的投影对齐损失以强制实现2D-3D一致性，该方法在KITTI基准上实现了最先进性能，包括行人和骑行人类别的新SOTA结果，较先前单目方法提升68%。

ABSTRACT

We present MonoPSR, a monocular 3D object detection method that leverages proposals and shape reconstruction. First, using the fundamental relations of a pinhole camera model, detections from a mature 2D object detector are used to generate a 3D proposal per object in a scene. The 3D location of these proposals prove to be quite accurate, which greatly reduces the difficulty of regressing the final 3D bounding box detection. Simultaneously, a point cloud is predicted in an object centered coordinate system to learn local scale and shape information. However, the key challenge is how to exploit shape information to guide 3D localization. As such, we devise aggregate losses, including a novel projection alignment loss, to jointly optimize these tasks in the neural network to improve 3D localization accuracy. We validate our method on the KITTI benchmark where we set new state-of-the-art results among published monocular methods, including the harder pedestrian and cyclist classes, while maintaining efficient run-time.

研究动机与目标

• 通过利用2D目标检测器提供的强几何先验，解决单目3D目标检测的欠约束问题。
• 通过从2D边界框和针孔相机约束生成高质量的3D提议，减少3D搜索空间，从而提高3D定位精度。
• 利用预测实例点云提供的形状和尺度信息以增强定位性能，而非依赖刚性CAD模型。
• 通过一种新颖的投影对齐损失，联合优化3D检测与形状重建，确保2D图像观测与3D预测之间的一致性。
• 在KITTI 3D检测基准上实现最先进性能，包括此前未报告的行人和骑行人类别结果。

提出的方法

• 该方法通过估计2D边界框中心的重投影以及针孔相机模型中物体高度与深度之间的透视关系，利用3D中心点生成3D提议。
• 采用受Faster R-CNN启发的两阶段提议回归框架，从候选框回归以精炼最终的非可见、有方向的3D边界框。
• 实例重建模块在规范物体坐标系中预测一个点云，以编码局部形状与尺度信息。
• 通过估计的中心点将预测的点云变换至相机坐标系，实现定位与形状的联合优化。
• 引入一种新颖的投影对齐损失，将重建的3D点云投影至图像空间，并强制与2D检测框保持一致。
• 网络通过聚合损失（包括投影对齐损失）端到端训练，以联合优化提议回归、点云估计与2D-3D一致性。

Figure 1: Pipeline for 3D Object Detection and Instance Point Cloud Estimation: Our network takes an image with 2D bounding boxes and regresses instance-centric 3D proposals to produce 3D bounding boxes. Simultaneously, instance point clouds are estimated to recover local shape and scale, and to enf

实验结果

研究问题

• RQ1 通过针孔相机几何关系从2D检测生成的3D提议，是否能显著缩小3D定位搜索空间并提升精度？
• RQ2 在单目设置下，如何有效利用通过预测点云实现的形状重建来提升3D目标定位性能？
• RQ3 结合新颖投影对齐损失的联合优化框架，是否能增强2D-3D一致性并提升检测性能？
• RQ4 所提方法是否在KITTI基准上实现了最先进结果，特别是在行人和骑行人等挑战性类别上？
• RQ5 该方法是否在保持高效率的同时，超越依赖严格假设或有限先验的先前单目方法？

主要发现

• 在KITTI基准上，MonoPSR相较于先前单目SOTA方法，在0.5 IoU下的3D AP提升了68%。
• 该方法在KITTI验证集上为行人和骑行人检测设定了新的SOTA结果，分别在0.25 IoU下达到31.89%和23.77%的3D AP。
• 使用3D提议将困难类别汽车的深度估计误差降低至1.22m（标准差1.84m），优于直接深度估计方法。
• 与无形状重建损失的基线相比，联合优化投影对齐损失使0.5 IoU下的3D AP提升了7.2%。
• 该方法保持了高效的推理速度，总运行时间在Titan X GPU上为120ms，加上2D检测器的80ms。
• 定性结果表明，汽车和骑行人的3D框投影与2D检测高度匹配，同时对行人投影的大幅变化仍保持足够的灵活性。

Figure 2: Network Architecture: The network produces a feature map using an image crop of an object and global context features as inputs. From this feature map three tasks are performed a) the dimensions and orientation are predicted to estimate a proposal b) offsets for the proposals are regressed