[논문 리뷰] Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving

Yan Wang, Wei‐Lun Chao외 4명|arXiv (Cornell University)|2018. 12. 18.

Advanced Neural Network Applications참고 문헌 36인용 수 68

한 줄 요약

본 논문은 이미지 기반 깊이를 pseudo-LiDAR 3D 포인트 클라우드로 변환하고 LiDAR 기반 탐지기를 적용하면 스테레오/단안 3D 물체 검출이 크게 개선되어 실제 LiDAR와의 격차가 줄어든다는 것을 보여준다. 이는 표현(representation)이지 깊이 정확도(depth accuracy)가 주된 병목이라는 것을 주장한다.

ABSTRACT

3D object detection is an essential task in autonomous driving. Recent techniques excel with highly accurate detection rates, provided the 3D input data is obtained from precise but expensive LiDAR technology. Approaches based on cheaper monocular or stereo imagery data have, until now, resulted in drastically lower accuracies --- a gap that is commonly attributed to poor image-based depth estimation. However, in this paper we argue that it is not the quality of the data but its representation that accounts for the majority of the difference. Taking the inner workings of convolutional neural networks into consideration, we propose to convert image-based depth maps to pseudo-LiDAR representations --- essentially mimicking the LiDAR signal. With this representation we can apply different existing LiDAR-based detection algorithms. On the popular KITTI benchmark, our approach achieves impressive improvements over the existing state-of-the-art in image-based performance --- raising the detection accuracy of objects within the 30m range from the previous state-of-the-art of 22% to an unprecedented 74%. At the time of submission our algorithm holds the highest entry on the KITTI 3D object detection leaderboard for stereo-image-based approaches. Our code is publicly available at https://github.com/mileyan/pseudo_lidar.

연구 동기 및 목표

• 3D 물체 탐지를 위한 이미지 깊이 맵을 LiDAR 유사 3D 포인트 표현(pseudo-LiDAR)으로 대체하려는 동기를 부여한다.
• pseudo-LiDAR 표현이 KITTI에서 스테레오/단안 3D 탐지 정확도를 개선하는지 조사한다.
• pseudo-LiDAR가 기존 LiDAR 기반 탐지기와의 호환성을 다양한 아키텍처에서 보여주는지 입증한다.
• 데이터 표현이 스테레오- LiDAR 성능 격차에 얼마나 영향을 미치는지 정량화한다.

제안 방법

• 스테레오 또는 단일 이미지 입력에서 밀집 깊이 맵을 3D 포인트로 역투사하여 pseudo-LiDAR 포인트 클라우드를 형성한다.
• Frustum PointNet, AVOD 등 기존 LiDAR 기반 3D 탐지기를 pseudo-LiDAR 데이터에 적용한다.
• 동일 탐지 파이프라인 내에서 pseudo-LiDAR와 전면(depth) 표현을 대조하여 표현 전략을 비교한다.
• KITTI 3D/BEV AP를 IoU=0.5 및 0.7에서 자동차, 보행자, 자전거 사용자 범주로 평가한다.

실험 결과

연구 질문

• RQ1 pseudo-LiDAR 표현이 KITTI의 스테레오/단안 깊이 추정에 대해 3D 물체 탐지 정확도를 향상시키는가?
• RQ2 LiDAR 기반 탐지기와 함께 사용할 때 pseudo-LiDAR가 전면 뷰(depth) 표현과 비교하여 어떤 차이가 있는가?
• RQ3 깊이 추정 방법(스테레오 대 단일 이미지)이 pseudo-LiDAR 기반 탐지 성능에 미치는 영향은 무엇인가?
• RQ4 이미지 기반 깊이 탐지 접근이 LiDAR 기반 3D 탐지 성능에 얼마나 도달할 수 있으며 남아 있는 격차는 무엇인가?
• RQ5 cars, pedestrians, cyclists와 같이 객체 범주 및 난이도 수준에서 개선이 일관된가?

주요 결과

• Pseudo-LiDAR는 스테레오 기반 3D 탐지를 크게 향상시키며 KITTI에서 이미지 기반 방법에 비해 상당한 이득을 얻는다.
• IoU 0.7(중간)에서 스테레오 + pseudo-LiDAR는 45.3% AP_BEV/3D에 도달하여 이전 이미지 기반의 최첨단 성능을 크게 앞지른다.
• 두 개의 LiDAR 기반 탐지기(Frustum PointNet 및 AVOD) 모두 pseudo-LiDAR의 이점을 얻어 기존 3D 탐지 아키텍처와의 광범위한 호환성을 보여준다.
• 향상은 주로 깊이 추정 품질보다는 데이터 표현에 기인하며, 전면(depth) 표현은 pseudo-LiDAR에 비해 성능이 좋지 않다.
• 스테레오 기반의 pseudo-LiDAR 접근은 LiDAR와의 격차를 좁히며 경쟁력 있는 성능을 보여 주고 비용 효과적인 자율주행 센싱을 시사한다.
• 보행자/사이클리스트에서의 결과는 여전히 격차가 남아 있지만 이미지 기반 3D 탐색의 시작점을 제시한다.