[论文解读] Complex-YOLO: Real-time 3D Object Detection on Point Clouds

Martín Simón, Stefan Milz+2 more|arXiv (Cornell University)|Mar 16, 2018

Advanced Neural Network Applications参考文献 24被引用 78

一句话总结

Complex-YOLO 引入 Euler-Region-Proposal 网络以直接从 LiDAR 点云实时估计 3D 定向框，在无需相机输入的情况下实现高效多类检测。

ABSTRACT

Lidar based 3D object detection is inevitable for autonomous driving, because it directly links to environmental understanding and therefore builds the base for prediction and motion planning. The capacity of inferencing highly sparse 3D data in real-time is an ill-posed problem for lots of other application areas besides automated vehicles, e.g. augmented reality, personal robotics or industrial automation. We introduce Complex-YOLO, a state of the art real-time 3D object detection network on point clouds only. In this work, we describe a network that expands YOLOv2, a fast 2D standard object detector for RGB images, by a specific complex regression strategy to estimate multi-class 3D boxes in Cartesian space. Thus, we propose a specific Euler-Region-Proposal Network (E-RPN) to estimate the pose of the object by adding an imaginary and a real fraction to the regression network. This ends up in a closed complex space and avoids singularities, which occur by single angle estimations. The E-RPN supports to generalize well during training. Our experiments on the KITTI benchmark suite show that we outperform current leading methods for 3D object detection specifically in terms of efficiency. We achieve state of the art results for cars, pedestrians and cyclists by being more than five times faster than the fastest competitor. Further, our model is capable of estimating all eight KITTI-classes, including Vans, Trucks or sitting pedestrians simultaneously with high accuracy.

研究动机与目标

• 以 LiDAR 数据为唯一输入，推动自动驾驶领域的实时 3D 目标检测。
• 开发一个快速的端到端网络，从鸟瞰视角的 LiDAR 图像构建笛卡尔空间中的 3D 边界框。
• 引入欧拉回归方法（E-RPN）以在没有角度奇异性的情况下稳健地估计物体朝向。
• 在 KITTI 数据集上实现最先进的效率，同时在多个类别上保持具有竞争力的准确度。

提出的方法

• 将 LiDAR 点云预处理为一个单通道 BEV RGB 映射（高度、强度、密度），覆盖 80m x 40m。
• 将简化的 YOLOv2 风格的 CNN 架构适配为在 BEV 映射上进行单次推理的预测。
• 引入 Euler-Region-Proposal（E-RPN）来回归 3D 框参数（x、y、w、l）和方向，使用基于复数的角度回归（b_phi = arctan2(t_im, t_re)）。
• 使用三个锚定尺寸和两个朝向方向来覆盖 KITTI 物体形状，同时在每个网格单元预测五个边界框及其分数。
• 将 YOLO 风格的损失与新颖的欧拉回归损失相结合，在无奇点的复数空间中优化角度预测。

实验结果

研究问题

• RQ1 一个实时的、仅使用 LiDAR 的模型是否能够为 KITTI 的多个类别产生准确的 3D 定向框？
• RQ2 在复数空间中嵌入角度回归（欧拉回归）是否能提高朝向鲁棒性和泛化能力？
• RQ3 在使用单个 BEV 映射和一次前向传播时，检测速度与精度之间的权衡是什么？
• RQ4 在不使用相机输入的情况下，单个网络是否能够同时预测多类别并保持实时性能？
• RQ5 在 BEV 和 3D 检测任务中，该方法在 KITTI 基准测试中的表现如何？

主要发现

• 在 KITTI BEV 检测上实现实时性能（在 Titan X 上 >50 fps），同时保持具有竞争力的准确性。
• 在 BEV 检测的效率方面至少比领先的 LiDAR 方法快 5 倍，在某些比较中甚至超过 10 倍以上。
• 使用复数角度回归（欧拉回归）对朝向进行编码，避免角度奇异性并提高泛化能力。
• 仅通过 LiDAR 输入就能预测 KITTI 的八个类别（包括面包车、卡车和坐着的行人），无需相机数据。
• 提供一个单一的端到端网络，在一次前向传播中处理所有边界框，能够部署在嵌入式平台（如 TX2）。
• 在 CAR、PEDESTRIAN 和 CYCLIST 类别上展示了强大的 BEV 和 3D 检测性能，拥有具有竞争力的 AP 值。