[논문 리뷰] RefinedMPL: Refined Monocular PseudoLiDAR for 3D Object Detection in Autonomous Driving

Jean Marie Uwabeza Vianney, Shubhra Aich외 1명|arXiv (Cornell University)|2019. 11. 21.

Advanced Neural Network Applications참고 문헌 56인용 수 42

한 줄 요약

이 논문은 Dense monocular PseudoLiDAR의 비지도 및 지도 학습 sparsification을 도입하여 3D 물체 탐지 성능을 향상시키고 KITTI Car 및 Pedestrian 데이터셋에서 최첨단(SOTA) 결과를 달성합니다.

ABSTRACT

In this paper, we strive for solving the ambiguities arisen by the astoundingly high density of raw PseudoLiDAR for monocular 3D object detection for autonomous driving. Without much computational overhead, we propose a supervised and an unsupervised sparsification scheme of PseudoLiDAR prior to 3D detection. Both the strategies assist the standard 3D detector gain better performance over the raw PseudoLiDAR baseline using only ~5% of its points on the KITTI object detection benchmark, thus making our monocular framework and LiDAR-based counterparts computationally equivalent (Figure 1). Moreover, our architecture agnostic refinements provide state-of-the-art results on KITTI3D test set for "Car" and "Pedestrian" categories with 54% relative improvement for "Pedestrian". Finally, exploratory analysis is performed on the discrepancy between monocular and LiDAR-based 3D detection frameworks to guide future endeavours.

연구 동기 및 목표

• Raw PseudoLiDAR의 높은 배경 밀도와 단일 카메라 3D 탐지에서의 계산 부담 문제를 해결한다.
• 3D 탐지 전에 PseudoLiDAR를 정제하기 위한 비지도 및 지도 학습 프리프로세싱 파이프라인을 제안한다.
• KITTI 3D 물체 탐지 벤치마크에서 성능 향상을 입증한다.
• 단일 카메라 깊이 priors를 LiDAR 기반 3D 탐지와의 격차를 이해하기 위한 통찰을 제공한다.
• 아키텍처에 독립적인 정제를 통한 데이터 엔지니어링 트레이드오프를 평가한다.

제안 방법

• 비지도 sparsification: 전방 차이 이미지의 LoG 극값을 통한 관심 포인트 선택(PoIS); 3D 최근접 이웃 쿼리를 이용한 전경 분리(AFgS) 방법; 전경 밀도는 보존하면서 점들을 줄이는 거리 계층 샘플러(DSS) 사용.
• 지도 학습 sparsification: 단일 카메라 깊이 추정기의 인코더 특징을 공유하는 Depth-Shared 2D Detector(DSD)로 전경 맵을 생성; 위의 DSS와 동일.
• 두 파이프라인 모두 PseudoLiDAR의 밀도를 약 95% 감소시키면서 탐지 정확도를 유지하거나 향상시킴.
• 탐지기: 3D 탐지를 위해 포인트-스페이스 처리를 활용하는 PointRCNN 사용.
• 평가: 최근 문헌과의 비교를 위해 KITTI3D의 AP|R40 지표를 사용.

실험 결과

연구 질문

• RQ1 dense monocular PseudoLiDAR를 3D 탐지 전에 sparsify하면 탐지 정확도 향상과 계산 비용 축소가 가능할까?
• RQ2 비지도 및 지도 학습 sparsification 전략은 성능과 실용성 면에서 어떻게 비교되는가?
• RQ3 PseudoLiDAR 밀도가 3D 탐지기에 미치는 영향은 무엇이며, 거리 기반 샘플링은 작고 먼 물체에 어떤 영향을 미치는가?
• RQ4 추가적인 무거운 모델 없이 monocular 깊이 priors를 활용해 3D 물체 탐지를 향상시킬 수 있는 정도는 어느 정도인가?

주요 결과

• 비지도 sparsification과 지도 학습 sparsification 모두 KITTI3D Car 검증에서 원시 PseudoLiDAR 기준선을 능가한다.
• 지도 학습 접근 방식이 Car 및 Pedestrian 카테고리에서 KITTI 리더보드의 최고의 성능을 달성한다.
• Sparse Refinement가 배경 점 밀도를 감소시키고 과도하게 밀집된 PseudoLiDAR로 인한 다수의 거짓 양성 문제를 해결한다.
• KITTI3D 테스트 세트에서 RefinedMPL은 Car 및 Pedestrian에서 최첨단 결과를 달성했고 Pedestrian의 경우 상대적 향상이 54%에 이른다.
• 깊이 공유 특징(DSD)이 큰 계산 오버헤드 없이도 경쟁력 있는 2D 전경 정보를 제공한다.