[논문 리뷰] Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

Xinshuo Weng, Kris Kitani|arXiv (Cornell University)|2019. 03. 23.

Advanced Neural Network Applications참고 문헌 53인용 수 35

한 줄 요약

이 논문은 단일 이미지를 모노큘러 깊이 추정으로 가짜 LiDAR 포인트 클라우드로 변환하고 LiDAR 기반 Frustum PointNets를 바운딩 박스 일관성과 함께 사용하여 KITTI에서 단일 이미지 기반 3D 탐지의 최첨단 성능을 달성한다.

ABSTRACT

Monocular 3D scene understanding tasks, such as object size estimation, heading angle estimation and 3D localization, is challenging. Successful modern day methods for 3D scene understanding require the use of a 3D sensor. On the other hand, single image based methods have significantly worse performance. In this work, we aim at bridging the performance gap between 3D sensing and 2D sensing for 3D object detection by enhancing LiDAR-based algorithms to work with single image input. Specifically, we perform monocular depth estimation and lift the input image to a point cloud representation, which we call pseudo-LiDAR point cloud. Then we can train a LiDAR-based 3D detection network with our pseudo-LiDAR end-to-end. Following the pipeline of two-stage 3D detection algorithms, we detect 2D object proposals in the input image and extract a point cloud frustum from the pseudo-LiDAR for each proposal. Then an oriented 3D bounding box is detected for each frustum. To handle the large amount of noise in the pseudo-LiDAR, we propose two innovations: (1) use a 2D-3D bounding box consistency constraint, adjusting the predicted 3D bounding box to have a high overlap with its corresponding 2D proposal after projecting onto the image; (2) use the instance mask instead of the bounding box as the representation of 2D proposals, in order to reduce the number of points not belonging to the object in the point cloud frustum. Through our evaluation on the KITTI benchmark, we achieve the top-ranked performance on both bird's eye view and 3D object detection among all monocular methods, effectively quadrupling the performance over previous state-of-the-art. Our code is available at https://github.com/xinshuoweng/Mono3D_PLiDAR.

연구 동기 및 목표

• 3D 센싱과 2D 센싱 간의 성능 격차를 해소하기 위해 LiDAR 기반 3D 탐지기가 단일 이미지와 함께 작동하도록 한다.
• 모노큘러 깊이 추정과 이미지 리딩을 통해 가짜 LiDAR 포인트 클라우드를 생성한다.
• BBCL(바운딩 박스 일관성 손실)와 인스턴스 마스크 제안을 통해 가짜 LiDAR의 노이즈를 완화한다.
• KITTI BEV 및 3D 지표에서 단일 이미지를 이용한 최첨단 3D 탐지 성능을 입증한다.
• 핵심 구성 요소: BBCL, BBCO, 인스턴스 마스크, 밀도 효과에 대한 차별화된 증거를 제공한다.

제안 방법

• 입력 이미지의 모든 픽셀을 모노큘러 깊이 추정을 이용해 3D로 리프트하여 가짜 LiDAR 포인트 클라우드를 만든다.
• 2D 인스턴스 마스크를 탐지하고(바운딩 박스가 아닌) 각 제안에 대해 가짜 LiDAR로부터 포인트 클라우드 프러스텀을 추출한다.
• Frustum PointNet 기반의 비가시(암묵적) 3D 객체 탐지기를 적용하여 각 프러스트럼에 대해 3D 바운딩 박스 매개변수(x,y,z,h,w,l,θ)를 예측한다.
• 훈련 중 Bounding Box Consistency Loss(BBCL)로 2D-3D 바운딩 박스 일관성 제약을 적용한다.
• 테스트 중 3D 박스의 투영된 2D 박스와 2D 제안 간의 IoU를 극대화하도록 Bounding Box Consistency Optimization(BBBCO)으로 예측값을 보정한다.
• 성능에 미치는 영향을 연구하기 위해 TNet 구성요소를 선택적으로 제거한다.

실험 결과

연구 질문

• RQ1 모노큘러 깊이 추정이 3D 객체 탐지를 위한 usable한 가짜 LiDAR 표현으로 활용될 수 있는가?
• RQ2 2D 인스턴스 마스크와 2D-3D 바운딩 박스 일관성 제약이 가짜 LiDAR 하에서 모노큘러 3D 탐지를 개선하는가?
• RQ3 가짜 LiDAR 밀도와 3D 박스 보정이 KITTI에서 BEV 및 3D 탐지 지표에 어떤 영향을 미치는가?
• RQ4 훈련 및 테스트에서 BBCL과 BBCO의 후처리가 미치는 이점은 무엇인가?
• RQ5 표준 벤치마크에서 모노큘러 방법이 LiDAR 기반 3D 탐지 성능에 얼마나 근접할 수 있는가?

주요 결과

방법	입력	AP_BE V_Easy_IoU0.5	AP_BE V_Moderate_IoU0.5	AP_BE V_Hard_IoU0.5	AP_3D_Easy_IoU0.5	AP_3D_Moderate_IoU0.5	AP_3D_Hard_IoU0.5	AP_BE V_Easy_IoU0.7	AP_BE V_Moderate_IoU0.7	AP_BE V_Hard_IoU0.7	AP_3D_Easy_IoU0.7	AP_3D_Moderate_IoU0.7	AP_3D_Hard_IoU0.7
Mono3D	Monocular	30.5	22.4	19.2	5.2	5.2	4.1	30.0	23.8	18.8	10.0	7.7	5.3
Deep3DBox	Monocular	30.0	23.8	18.8	10.0	7.7	5.3	30.0	23.8	18.8	10.0	7.7	5.3
MLF-MONO	Monocular	55.0	36.7	31.3	22.0	13.6	11.6	70.8	49.4	42.7	40.6	26.3	22.9
ROI-10D	Monocular	46.9	34.1	30.5	14.5	9.9	8.7	46.9	34.1	30.5	14.5	9.9	8.7
MonoGRNet	Monocular	-	50.5	-	-	-	-	-	-	-	-	-	-
PL-MONO	Monocular	70.8	49.4	42.7	22.0	13.6	11.6	40.6	26.3	22.9	18.5	-	-
Ours	Monocular	72.1	53.1	44.6	68.4	48.3	43.0	41.9	28.3	24.5	31.5	21.0	17.5

• 이 방법은 KITTI에서 모노큘러 기반 메서드 중 BEV 및 3D AP에서 최상위 순위를 차지하며, 기존 연구보다 상당한 이점을 보인다.
• IoU 0.5에서 보통 차량에 대해 AP_3D가 이전 상태의 5.7%에서 제안된 방법으로 21.0%로 향상된다.
• IoU 0.5에서 Ours의 BEV 및 3D 지표는 Easy 72.1% 및 68.4%, Moderate 53.1% 및 48.3%, Hard 44.6% 및 43.0%에 도달한다.
• BBCL 및 BBCO가 0.5 및 0.7 IoU에서 Easy/Moderate/Hard 모두에 대해 3D 탐지 측정에서 베이직 +PLiDAR 대비 큰 이점을 제공한다.
• 2D 제안에 인스턴스 마스크를 사용하면 가짜 LiDAR 프러스텀의 꼬리 현상을 줄이고 3D 크기 추정이 향상된다.
• TNet을 제거하면 혼합 결과가 나오고 일부 IoU0.7 지표를 약간 향상시킬 수 있지만 전체 설계보다 일관되게 더 나은 성능을 보여주지 않는다.