[논문 리뷰] 3D Object Detection Method Based on YOLO and K-Means for Image and Point Clouds

Xuanyu Yin, Yoko Sasaki외 2명|arXiv (Cornell University)|2020. 04. 21.

Remote Sensing and LiDAR Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 YOLO 기반 2D 검출과 LiDAR 포인트 클라우드에서의 K-means 군집화를 조합하여 실시간 3D 객체 검출 방법을 제안한다. 2D YOLO 검출 결과를 3D 포인트 클라우드에 투영하고 비지도 군집화를 통해 정밀도를 향상시키고 노이즈를 감소시킴으로써, 두 개의 1080Ti GPU에서 프레임당 0.192초의 추론 시간과 0.856의 정밀도를 달성한다.

ABSTRACT

Lidar based 3D object detection and classification tasks are essential for autonomous driving(AD). A lidar sensor can provide the 3D point cloud data reconstruction of the surrounding environment. However, real time detection in 3D point clouds still needs a strong algorithmic. This paper proposes a 3D object detection method based on point cloud and image which consists of there parts.(1)Lidar-camera calibration and undistorted image transformation. (2)YOLO-based detection and PointCloud extraction, (3)K-means based point cloud segmentation and detection experiment test and evaluation in depth image. In our research, camera can capture the image to make the Real-time 2D object detection by using YOLO, we transfer the bounding box to node whose function is making 3d object detection on point cloud data from Lidar. By comparing whether 2D coordinate transferred from the 3D point is in the object bounding box or not can achieve High-speed 3D object recognition function in GPU. The accuracy and precision get imporved after k-means clustering in point cloud. The speed of our detection method is a advantage faster than PointNet.

연구 동기 및 목표

• 불규칙하고 계산 비용이 높은 LiDAR 포인트 클라우드에서 실시간 3D 객체 검출의 과제를 해결한다.
• YOLO를 통한 2D 이미지 검출을 활용하여 관련 포인트 클라우드 영역에 집중함으로써 3D 검출 속도를 향상시킨다.
• 비지도 K-means 군집화를 통해 포인트 클라우드 영역의 노이즈를 감소시키고 객체 경계를 정밀하게 보정함으로써 검출 정확도를 향상시킨다.
• 이미지 기반 검출과 포인트 클라우드 처리를 융합하여 고속 GPU 가속 3D 객체 인식을 가능하게 한다.
• 캘리브레이션된 카메라 및 LiDAR 데이터를 사용한 엔드 투 엔드 3D 객체 검출 파이프라인을 개발하고 깊이 이미지 기반 평가를 수행한다.

제안 방법

• 라이다-카메라 캘리브레이션을 수행하고 다중 뷰 카메라 이미지를 왜곡 보정하여 2D 및 3D 데이터를 정렬한다.
• 불변형된 이미지에서 YOLOv3(및 YOLOv1 tiny)를 적용하여 2D 객체 검출을 수행하고, 경계 상자와 클래스 레이블을 출력한다.
• 외부 및 내부 카메라 파rameters와 rosbag에서 시간에 동기화된 데이터를 사용하여 2D 검출 경계 상자를 3D 포인트 클라우드로 매핑한다.
• 각 2D 경계 상자 내부의 모든 3D 포인트를 추출하고 시각화를 위해 클래스별 색상으로 할당한다.
• 각 검출된 경계 상자 내부의 포인트 클라우드에 대해 K-means 군집화를 적용하여 노이즈를 제거하고 객체 경계를 정밀하게 보정한다.
• 최종 3D 검출 결과를 32×1024 깊이 이미지로 변환하여 픽셀 수준의 지표를 사용해 진짜 값과 평가한다.

실험 결과

연구 질문

• RQ1 YOLO를 통한 2D 객체 검출이 포인트 클라우드로 효과적으로 전이되어 실시간 3D 검출을 가능하게 할 수 있는가?
• RQ2 K-means 군집화가 포인트 클라우드 영역의 노이즈를 감소시켜 3D 객체 검출 정확도를 어느 정도 향상시키는가?
• RQ3 기존의 3D 검출 모델인 PointNet과 비교할 때, 제안된 방법은 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 경계 상자 투영을 통한 이미지 및 LiDAR 데이터 융합이 최소한의 계산 오버헤드로 고정밀도 3D 검출을 달성할 수 있는가?
• RQ5 복잡한 시나리오에서 군집화가 3D 객체 검출의 재현율과 정밀도에 어떤 영향을 미치는가?

주요 결과

• K-means 군집화 후 정밀도는 0.856, 재현율은 0.6103을 기록하여 비군집화 기반 기준 대비 정밀도 1.7% 향상, 재현율 1.5% 향상됨.
• K-means 군집화는 평균적으로 포인트 클라우드 수를 31.6% 감소시켜 노이즈를 크게 제거하면서도 객체 관련 포인트는 유지함.
• K-means 군집화가 적용된 평균 추론 시간은 0.192초/프레임, 군집화 없이 0.19초로, 두 개의 1080Ti GPU에서 고성능 실시간 성능 입증.
• PointNet 대비 빠른 처리 속도를 기록하여 프레임당 0.19초의 처리 시간을 확보하였고, 경쟁 가능한 정확도(0.837 mAP) 유지를 함.
• 깊이 이미지 기반 평가 결과, K-means 군집화를 적용한 최종 검출 결과(Fig. 17)가 진짜 값(Fig. 15)과 유사하게 공간적으로 정렬되어 있음을 확인함.
• 객체가 검출되지 않은 경우, 군집화 이후 공백 프레임에서 포인트 클라우드 데이터 비율이 49.15%에서 0.85%로 급격히 감소하여 평균 91%의 오진 억제 효과 기록함.