[论文解读] MonoGRNet: A Geometric Reasoning Network for Monocular 3D Object Localization

Zengyi Qin, Jinglu Wang+1 more|arXiv (Cornell University)|Nov 26, 2018

Robotics and Sensor-Based Localization参考文献 26被引用 29

一句话总结

MonoGRNet 提出了一种统一的、端到端的深度学习框架，用于单目 3D 目标定位，通过将 3D 检测分解为渐进的几何推理步骤：2D 检测、实例级深度估计（IDE）、3D 中心定位和局部角点回归。通过直接使用稀疏监督预测 3D 检测框中心的深度，避免了像素级深度估计，该方法在 KITTI 数据集上实现了最先进性能，单张图像推理时间低于 0.06 秒。

ABSTRACT

Detecting and localizing objects in the real 3D space, which plays a crucial role in scene understanding, is particularly challenging given only a single RGB image due to the geometric information loss during imagery projection. We propose MonoGRNet for the amodal 3D object detection from a monocular RGB image via geometric reasoning in both the observed 2D projection and the unobserved depth dimension. MonoGRNet is a single, unified network composed of four task-specific subnetworks, responsible for 2D object detection, instance depth estimation (IDE), 3D localization and local corner regression. Unlike the pixel-level depth estimation that needs per-pixel annotations, we propose a novel IDE method that directly predicts the depth of the targeting 3D bounding box's center using sparse supervision. The 3D localization is further achieved by estimating the position in the horizontal and vertical dimensions. Finally, MonoGRNet is jointly learned by optimizing the locations and poses of the 3D bounding boxes in the global context. We demonstrate that MonoGRNet achieves state-of-the-art performance on challenging datasets.

研究动机与目标

• 为解决从单张 RGB 图像进行 3D 目标定位的挑战，即深度信息在 2D 投影过程中丢失的问题。
• 克服像素级深度估计的局限性，后者通常忽略小尺寸、遮挡或截断的物体。
• 通过区分 2D 检测框中心与 3D 中心在 2D 投影中的位置，提升 3D 定位精度。
• 通过联合优化几何组件，仅使用单目 RGB 输入实现高效且准确的 3D 检测框预测。

提出的方法

• MonoGRNet 是一个统一的网络，包含四个任务特定的子网络：2D 检测、实例级深度估计（IDE）、3D 定位和局部角点回归。
• IDE 模块在深层特征中使用大感受野，并融合高分辨率的早期特征，以在无需逐像素标注的情况下预测 3D 检测框中心的深度。
• 通过结合 3D 中心在 2D 平面的投影（单独预测）与 IDE 输出，实现 3D 空间中的几何推理。
• 局部角点回归在旋转后的、与物体对齐的坐标系中进行，以减少 3D 旋转估计中的歧义。
• 网络通过联合几何损失进行端到端训练，以最小化全局上下文中的 3D 检测框差异。
• 在角点回归前增加坐标变换步骤，将局部坐标系与物体方向对齐，从而提升姿态估计的精度。

实验结果

研究问题

• RQ1 通过避免密集深度监督，统一网络是否能在单张 RGB 图像上实现更优的 3D 目标定位性能？
• RQ2 在 3D 检测精度和对截断、遮挡的鲁棒性方面，实例级深度估计与像素级深度估计相比表现如何？
• RQ3 将 2D 检测框中心与 3D 中心在 2D 投影中的位置区分开来，是否能提升 3D 定位精度？
• RQ4 在与物体对齐的坐标系中进行局部角点回归，是否能减少 3D 检测框估计中的旋转歧义？
• RQ5 在 2D 和 3D 空间中的几何推理对单目 3D 检测的推理速度和精度有何影响？

主要发现

• MonoGRNet 在 KITTI 基准测试中实现了单目 3D 目标检测的最先进性能，3D 定位精度优于先前方法。
• 模型在高度方向的平均误差为 0.084m，宽度方向为 0.084m，长度方向为 0.412m，方向角误差为 0.251 弧度，展现出强大的 3D 检测框回归能力。
• 推理时间低于每张图像 0.06 秒，使其成为目前最快的单目 3D 检测器之一。
• 消融实验证实，使用 3D 中心在 2D 投影中的位置代替 2D 检测框中心，可使水平和垂直定位误差分别降低 0.08m 和 0.60m。
• 采用与物体对齐的局部角点回归，可将方向角误差从 0.442 弧度降低至 0.251 弧度，验证了其在减少旋转歧义方面的有效性。
• 该模型对截断和遮挡物体具有良好的泛化能力，即使车辆部分超出图像边界，也能成功定位。