[论文解读] GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving

Buyu Li, Wanli Ouyang+3 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Neural Network Applications参考文献 27被引用 33

一句话总结

GS3D 通过先利用可靠的二维检测生成粗略三维长方体（引导），再用基于表面的特征和一种分类风格、面向质量的损失来预测准确的三维框，从单张 RGB 图像中检测 3D 对象。

ABSTRACT

We present an efficient 3D object detection framework based on a single RGB image in the scenario of autonomous driving. Our efforts are put on extracting the underlying 3D information in a 2D image and determining the accurate 3D bounding box of the object without point cloud or stereo data. Leveraging the off-the-shelf 2D object detector, we propose an artful approach to efficiently obtain a coarse cuboid for each predicted 2D box. The coarse cuboid has enough accuracy to guide us to determine the 3D box of the object by refinement. In contrast to previous state-of-the-art methods that only use the features extracted from the 2D bounding box for box refinement, we explore the 3D structure information of the object by employing the visual features of visible surfaces. The new features from surfaces are utilized to eliminate the problem of representation ambiguity brought by only using a 2D bounding box. Moreover, we investigate different methods of 3D box refinement and discover that a classification formulation with quality aware loss has much better performance than regression. Evaluated on the KITTI benchmark, our approach outperforms current state-of-the-art methods for single RGB image based 3D object detection.

研究动机与目标

• 以单目 RGB 输入在不使用点云或立体数据的情况下，推动高效的自动驾驶三维对象检测。
• 提出一个两阶段框架，先从二维检测和场景先验生成粗略的三维引导，然后用可见表面特征进行细化。
• 通过利用投影表面的三维结构线索来解决表示上的歧义。
• 表明以分类为基础的带质量感知损失的细化比回归式方法在三维框精度上有提升。

提出的方法

• 使用基于 Faster R-CNN 的二维检测器，并带有一个方向（观测角）头，以获得二维框和视角方向（alpha）。
• 从二维框、相机内参和类别特定尺寸统计中生成基本的三维长方体引导（w_g, h_g, l_g, x_g, y_g, z_g, theta_g）。
• 将引导投影到图像平面，并通过透视变换从二维框和可见表面区域提取特征，以捕捉三维结构。
• 融合表面和二维框特征并输入到第三个网络（3D 子网）以进行细化。
• 将三维框细化形式化为对残差区间的分类，而非直接回归，以带有质量感知损失的方式更好地反映预测质量。
• 探索基于表面的特征、基于位移的分类（每个残差位移特征）以及质量感知损失，以最大化三维定位精度。）

实验结果

研究问题

• RQ1 单目RGB图像在不使用深度传感器的情况下，是否能够支持自动驾驶的精确三维对象检测？
• RQ2 将可见表面三维结构特征引入，是否比仅使用二维框特征的细化方法在三维框上有改善？
• RQ3 以质量感知损失的分类细化是否比直接回归在三维框细化上更有效？
• RQ4 仅使用RGB数据和标准先验，单目框架在KITTI数据集上能达到多接近最先进水平？

主要发现

• 该框架在KITTI数据集的三维 AP 指标上超越了若干先前基于单目 RGB 的方法，且未使用立体或 CAD 数据。
• 将来自可见表面的特征引入，降低了仅使用二维框特征所带来的表示歧义。
• 采用带质量感知损失的分类形式的细化，在三维定位上优于直接回归。
• 带有表面感知的细化、位移特征和质量感知策略显著提高了三维框的精度。