[论文解读] 3D Object Proposals using Stereo Imagery for Accurate Object Class Detection

Xiaozhi Chen, Kaustav Kundu+4 more|arXiv (Cornell University)|Aug 27, 2016

Advanced Neural Network Applications参考文献 35被引用 48

一句话总结

本文提出一种基于双目视觉的3D目标候选框生成方法，以提升自动驾驶中的3D目标检测性能。通过最小化包含深度感知特征、目标尺寸先验和地面平面约束的能量函数，该方法生成高召回率的3D候选框，当输入卷积神经网络（CNN）后，在KITTI基准测试中达到当前最优性能，相比现有RGB和RGB-D方法，召回率最高提升25%，结合LIDAR数据时实现了最高的3D检测精度。

ABSTRACT

The goal of this paper is to perform 3D object detection in the context of autonomous driving. Our method first aims at generating a set of high-quality 3D object proposals by exploiting stereo imagery. We formulate the problem as minimizing an energy function that encodes object size priors, placement of objects on the ground plane as well as several depth informed features that reason about free space, point cloud densities and distance to the ground. We then exploit a CNN on top of these proposals to perform object detection. In particular, we employ a convolutional neural net (CNN) that exploits context and depth information to jointly regress to 3D bounding box coordinates and object pose. Our experiments show significant performance gains over existing RGB and RGB-D object proposal methods on the challenging KITTI benchmark. When combined with the CNN, our approach outperforms all existing results in object detection and orientation estimation tasks for all three KITTI object classes. Furthermore, we experiment also with the setting where LIDAR information is available, and show that using both LIDAR and stereo leads to the best result.

研究动机与目标

• 为解决现有2D和3D目标候选框方法在KITTI基准测试中召回率低的问题，该问题对自动驾驶中准确的3D目标检测至关重要。
• 通过利用双目视觉生成高质量的3D边界框候选框，整合深度信息、地面平面上下文和目标先验，以提升3D目标检测性能。
• 开发一种基于深度学习的检测网络，联合回归3D边界框坐标和目标方向，利用外观、深度和上下文特征。
• 评估结合双目视觉与LIDAR数据对3D检测精度的提升效果，尤其针对小尺寸、遮挡或远距离目标。
• 证明深度感知特征与结构化学习可超越传统RGB或RGB-D方法，显著提升候选框质量和检测性能。

提出的方法

• 该方法将3D目标候选框生成建模为能量最小化问题，整合目标尺寸先验、地面平面定位以及深度感知特征（如点云密度、自由空间和距地面距离）。
• 使用3D积分图像在常数时间内计算特征，实现在所有候选3D框上的高效推理。
• 采用结构化SVM学习能量函数各组成部分的类别特定权重，以优化候选框质量。
• 训练一个双流3D检测CNN，联合回归3D边界框坐标和目标姿态，同时利用外观（RGB）和深度（HHA）特征。
• 网络引入上下文分支以增强特征表示，提升对具有挑战性的目标类别的检测精度。
• 该方法扩展至双目-LIDAR融合，其中LIDAR提供稀疏但高精度的深度信息，尤其在困难样本中表现优越。

实验结果

研究问题

• RQ1 与现有RGB和RGB-D方法相比，基于双目的3D目标候选框是否能在KITTI基准测试中显著提升召回率？
• RQ2 整合如点云密度、自由空间和地面平面接近度等深度感知特征，对3D候选框质量有何影响？
• RQ3 联合回归3D边界框和目标方向的CNN模型，与独立的检测与回归流水线相比，性能提升程度如何？
• RQ4 结合双目视觉与LIDAR数据对3D检测精度有何影响，尤其对遮挡或远距离目标？
• RQ5 地面平面估计精度对整体检测性能的贡献有多大？双目与LIDAR模态之间的差异如何？

主要发现

• 在KITTI基准测试中，使用2,000个候选框时，所提3D目标候选框方法相比当前最优的RGB-D方法MCG-D，召回率最高提升25%。
• 完整的3D检测流程（结合3D候选框与双流CNN）在KITTI基准测试中对所有三类目标（Car、Cyclist、Pedestrian）的性能均优于所有已发表结果。
• 使用双目数据时，双流RGB-HHA CNN模型相比仅使用RGB的模型，3D检测性能提升约10%；在混合双目-LIDAR数据下，性能提升5%。
• 使用理想地面平面可使基于LIDAR的方法在2D AP上提升9%，3D AP上提升8%，表明更精确的地面平面估计可进一步提升性能。
• 混合双目-LIDAR方法在Moderate和Hard设置下实现了最高的3D检测精度，证明了密集双目与高精度LIDAR深度的互补优势。
• 检测网络中的上下文分支提升了Car类别的2D AP和AOS指标，但对Pedestrian和Cyclist类别的提升效果不一致，原因在于训练数据有限。