[논문 리뷰] Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving

Yurong You, Yan Wang외 6명|arXiv (Cornell University)|2019. 06. 14.

Advanced Neural Network Applications참고 문헌 48인용 수 220

한 줄 요약

논문은 깊이 최적화 스테레오 네트워크(SDN)와 희소 LiDAR를 이용한 그래프 기반 깊이 보정(GDC)을 통해 스테레오 기반 깊이를 개선하여 pseudo-LiDAR 3D 탐지 성능을 높이고 KITTI에서 LiDAR 기반 방법과의 격차를 줄인다.

ABSTRACT

Detecting objects such as cars and pedestrians in 3D plays an indispensable role in autonomous driving. Existing approaches largely rely on expensive LiDAR sensors for accurate depth information. While recently pseudo-LiDAR has been introduced as a promising alternative, at a much lower cost based solely on stereo images, there is still a notable performance gap. In this paper we provide substantial advances to the pseudo-LiDAR framework through improvements in stereo depth estimation. Concretely, we adapt the stereo network architecture and loss function to be more aligned with accurate depth estimation of faraway objects --- currently the primary weakness of pseudo-LiDAR. Further, we explore the idea to leverage cheaper but extremely sparse LiDAR sensors, which alone provide insufficient information for 3D detection, to de-bias our depth estimation. We propose a depth-propagation algorithm, guided by the initial depth estimates, to diffuse these few exact measurements across the entire depth map. We show on the KITTI object detection benchmark that our combined approach yields substantial improvements in depth estimation and stereo-based 3D object detection --- outperforming the previous state-of-the-art detection accuracy for faraway objects by 40%. Our code is available at https://github.com/mileyan/Pseudo_Lidar_V2.

연구 동기 및 목표

• 특히 멀리 있는 물체에 대해 스테레오 기반 3D 탐지에서 깊이 추정 편향을 해소한다.
• 깊이 방향의 스테레오 네트워크를 개발하여 차이(disparity) 대신 직접 깊이를 학습한다.
• 그래프 기반 확산으로 조밀한 스테레오 깊이와 희소 LiDAR를 결합하여 깊이를 보정한다.

제안 방법

• 깊이 비용 볼륨에서 차이 기반 학습을 직접 깊이 손실로 대체하여 깊이 격자에 3D 컨볼루션을 가능하게 한다 (SDN).
• 표준 차이 비용 볼륨을 보간하고 깊이 비용 볼륨으로 변환하여 원거리에서 깊이 오차를 줄인다.
• 적은 수의 정확한 LiDAR 측정치를 사용하여 KNN 그래프 전역에서 깊이 확산을 안내하는 깊이 전파(GDC) 알고리즘을 제안하여 조밀하고 정확한 깊이를 얻는다.
• 가중된 KNN 그래프를 사용해 LiDAR 깊이를 전파하며, 랜드마크 깊이가 고정되도록 제약조건을 갖는 2차 최적화를 풀어 해결한다.
• 합성 데이터 및 KITTI에서 학습된 스테레오 깊이 네트워크(SDN)로 평가하고, SDN 출력에 그래프 기반 보정(GDC)을 적용한다.

실험 결과

연구 질문

• RQ1 스테레오 네트워크에서 직접 깊이 최적화가 차이 기반 학습에 비해 먼 거리 물체의 깊이 편향을 줄일 수 있는가?
• RQ2 그래프 기반 깊이 보정을 통한 희소 LiDAR 측정치의 도입이 조밀한 깊이 맵과 3D 물체 탐지를 의미 있게 개선하는가?
• RQ3 깊이 손실과 깊이 비용 볼륨 및 GDC 단계의 전체 탐지 정확도에 대한 상대적 기여도는 어느 정도인가?
• RQ4 희소 LiDAR를 보강할 때 스테레오 기반 의사 LiDAR가 LiDAR 기반 탐지에 얼마나 근접할 수 있는가?
• RQ5 KITTI에서 자동차, 보행자, 자전거 탐지에 대한 이득이 일관적인가?

주요 결과

• SDN은 차이 기반 방법에 비해 원거리에서 깊이 추정 오차를 크게 줄인다.
• 깊이 손실과 깊이 비용 볼륨은 측정 가능한 이득을 제공하며(예: 6%/2% 및 탐지기에 따라 2–3% 향상).
• 4빔 LiDAR를 이용한 GDC는 탐지를 크게 향상시키며 일부 지표에서 LiDAR 수준의 성능에 근접한다.
• SDN과 GDC를 이용한 PL++은 KITTI의 먼 물체에서 이전의 스테레오 기반 접근법보다 최대 40% 더 우수하다.
• L# + S 입력으로 PL++은 특정 지표에서 64빔 LiDAR 성능에 접근하여 비용 격차를 줄인다.
• 정성적으로 SDN+GDC는 깊이 맵과 물체 위치가 특히 먼 물체에서 실제 값과 더 잘 일치한다.