[论文解读] 3D Object Detection Method Based on YOLO and K-Means for Image and Point Clouds

Xuanyu Yin, Yoko Sasaki+2 more|arXiv (Cornell University)|Apr 21, 2020

Remote Sensing and LiDAR Applications参考文献 13被引用 4

一句话总结

本文提出了一种结合基于YOLO的2D检测与LiDAR点云上K-means聚类的实时3D目标检测方法。通过将2D YOLO检测结果投影到3D点云上，并利用无监督聚类进行优化，该方法提升了检测精度并减少了噪声，在两块1080Ti GPU上实现了每帧0.192秒的推理时间与0.856的精度。

ABSTRACT

Lidar based 3D object detection and classification tasks are essential for autonomous driving(AD). A lidar sensor can provide the 3D point cloud data reconstruction of the surrounding environment. However, real time detection in 3D point clouds still needs a strong algorithmic. This paper proposes a 3D object detection method based on point cloud and image which consists of there parts.(1)Lidar-camera calibration and undistorted image transformation. (2)YOLO-based detection and PointCloud extraction, (3)K-means based point cloud segmentation and detection experiment test and evaluation in depth image. In our research, camera can capture the image to make the Real-time 2D object detection by using YOLO, we transfer the bounding box to node whose function is making 3d object detection on point cloud data from Lidar. By comparing whether 2D coordinate transferred from the 3D point is in the object bounding box or not can achieve High-speed 3D object recognition function in GPU. The accuracy and precision get imporved after k-means clustering in point cloud. The speed of our detection method is a advantage faster than PointNet.

研究动机与目标

• 解决LiDAR点云中不规则且计算量大的实时3D目标检测挑战。
• 利用YOLO进行2D图像检测，通过聚焦于相关点云区域来加速3D检测。
• 通过无监督K-means聚类提升3D点云中的检测精度并减少噪声。
• 通过结合基于图像的检测与点云处理，实现实时、GPU加速的3D目标识别。
• 开发一个端到端的3D目标检测流程，使用标定后的相机与LiDAR数据，评估结果在深度图像上的表现。

提出的方法

• 执行LiDAR-相机标定，并对多视角相机图像进行去畸变处理，以对齐2D与3D数据。
• 应用YOLOv3（及YOLOv1 tiny）在去畸变图像中检测2D目标，输出边界框与类别标签。
• 利用相机的外参与内参参数，结合rosbag中的时间同步数据，将2D检测边界框映射到3D点云上。
• 提取每个2D边界框内的所有3D点，并为其分配特定类别的颜色以用于可视化。
• 对每个检测边界框内的点云应用K-means聚类，以去除噪声并优化物体边界。
• 将最终的3D检测结果转换为32×1024的深度图像，用于与真实标注进行像素级指标评估。

实验结果

研究问题

• RQ1 通过YOLO实现的2D目标检测能否有效迁移至3D点云，以实现实时3D检测？
• RQ2 K-means聚类在减少点云区域噪声方面，能在多大程度上提升3D目标检测的精度？
• RQ3 与现有3D检测模型（如PointNet）相比，该方法在速度与精度方面表现如何？
• RQ4 通过边界框投影融合图像与LiDAR数据，能否在计算开销极小的前提下实现高精度3D检测？
• RQ5 在复杂场景中，聚类对3D目标检测的召回率与精确率有何影响？

主要发现

• 经过K-means聚类后，该方法的精确率为0.856，召回率为0.6103，相较于未聚类基线，精确率提升了1.7%，召回率提升了1.5%。
• K-means聚类平均将点云数量减少了31.6%，显著去除了噪声，同时保留了与物体相关的点。
• 平均推理时间为每帧0.192秒（使用K-means聚类）与0.19秒（不使用K-means聚类），表明在两块1080Ti GPU上具备优异的实时性能。
• 该方法在速度上优于PointNet，每帧处理时间为0.19秒，同时保持了具有竞争力的精度（mAP为0.837）。
• 基于深度图像的评估显示，使用K-means聚类后的最终检测结果（图17）与真实标注（图15）高度一致，证实了空间对齐的改善。
• 在无检测到目标的情况下，该方法平均将误报减少了91%，如聚类后空帧中点云数据占比从49.15%降至0.85%所示。