[논문 리뷰] End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection

Rui Qian, Divyansh Garg외 7명|arXiv (Cornell University)|2020. 04. 07.

Advanced Neural Network Applications참고 문헌 48인용 수 9

한 줄 요약

이 논문은 기존의 별도 학습 방식에서의 한계를 극복하기 위해 종단간 전이 가능한 미분 가능한 가짜 LiDAR 프레임워크를 제안한다. 이 프레임워크는 깊이 추정과 3D 객체 탐지의 공동 학습을 가능하게 하며, 특히 소프트 양자화 층을 포함한 미분 가능한 표현 전환 모듈을 도입함으로써 전체 파이프라인을 거쳐 역전파를 수행할 수 있도록 한다. 이로 인해 PointRCNN 기반 KITTI 이미지 기반 3D 탐지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reliable and accurate 3D object detection is a necessity for safe autonomous driving. Although LiDAR sensors can provide accurate 3D point cloud estimates of the environment, they are also prohibitively expensive for many settings. Recently, the introduction of pseudo-LiDAR (PL) has led to a drastic reduction in the accuracy gap between methods based on LiDAR sensors and those based on cheap stereo cameras. PL combines state-of-the-art deep neural networks for 3D depth estimation with those for 3D object detection by converting 2D depth map outputs to 3D point cloud inputs. However, so far these two networks have to be trained separately. In this paper, we introduce a new framework based on differentiable Change of Representation (CoR) modules that allow the entire PL pipeline to be trained end-to-end. The resulting framework is compatible with most state-of-the-art networks for both tasks and in combination with PointRCNN improves over PL consistently across all benchmarks -- yielding the highest entry on the KITTI image-based 3D object detection leaderboard at the time of submission. Our code will be made available at https://github.com/mileyan/pseudo-LiDAR_e2e.

연구 동기 및 목표

• 기존의 LiDAR 기반과 이미지 기반 3D 객체 탐지 간의 성능 격차를 해소하기 위해 가짜 LiDAR 파이프라인에서 종단간 학습을 가능하게 한다.
• 별도로 학습할 경우 객체 경계 부근에서 깊이 추정과 3D 탐지 목적이 상충되어 최적의 깊이 예측이 어려운 문제를 해결한다.
• 2D 깊이 맵에서 3D 포인트 클라우드로의 변환 과정을 미분 가능한 표현 전환(CoR) 모듈을 통해 역전파가 가능하도록 한다.
• 기존 최신 기술 수준의 깊이 추정기와 LiDAR 기반 탐지기와의 호환성을 유지하면서도 두 모듈의 공동 성능 향상을 도모한다.
• 기존 아키텍처의 최소한의 수정으로 종단간 학습을 통해 KITTI 이미지 기반 3D 객체 탐지 랭킹에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 2D 깊이 맵과 3D 포인트 클라우드 간의 격차를 메우기 위해 미분 가능한 표현 전환(CoR) 모듈을 도입하여 전체 파이프라인에 걸쳐 기울기 흐름을 가능하게 한다.
• 기존 양자화 방식이 비가역적이므로 기울기가 전파되지 않는 문제를 해결하기 위해 새로운 미분 가능한 소프트 양자화 CoR 모듈을 설계한다.
• 두 가지 유형의 LiDAR 기반 탐지기와 호환되도록 설계한다: 양자화된 3D 텐서를 요구하는 탐지기(PIXOR 등)와 원시 포인트 클라우드를 처리하는 탐지기(PointRCNN 등)에 적합한 맞춤형 CoR 모듈을 제공한다.
• 깊이 추정기와 3D 탐지기를 하나의 종단간 학습 파이프라인으로 통합하여, 탐지 손실이 깊이 추정을 유도함으로써 객체 경계 근처의 정확도를 향상시킨다.
• 소프트 양자화 모듈에서 라디얼 기저 함수(RBF) 커널을 사용하여 각 포인트가 이산 버킷에 기여하는 가중치를 계산함으로써 역전파 중 부드러운 기울기를 확보한다.
• 깊이 추정과 3D 탐지 목표를 통합한 다중 과제 손실을 사용하여 전체 시스템을 공동으로 학습함으로써 최종 탐지 성능을 최적화한다.

Figure 1: An illustration of the effectiveness of our end-to-end pipeline. The green bounding box is the ground truth detection of a car. The yellow points are points from LiDAR. The pink point cloud is generated from an independently trained depth estimator, which is inaccurate and lies out of the

실험 결과

연구 질문

• RQ1 가짜 LiDAR 파이프라인에서 별도 학습 대비 종단간 학습이 깊이 추정과 3D 객체 탐지의 정확도 향상에 기여하는가?
• RQ2 양자화와 같은 비가역적인 연산이 공동 학습 프레임워크에서 역전파와 호환되도록 어떻게 설계할 수 있는가?
• RQ3 종단간 학습이 먼 거리에 있는 또는 가림을 받는 객체의 경우 객체 경계 근처에서 깊이 예측을 얼마나 정교하게 개선하는가?
• RQ4 제안된 프레임워크는 아키텍처 수정 없이도 기존 최신 기술 수준의 깊이 추정기 및 3D 탐지기와 호환되는가?
• RQ5 종단간 학습이 KITTI와 같은 표준 벤치마크에서 측정 가능한 성능 향상을 이끌어내는가? 특히 어려운(멀리 떨어진, 가려진) 탐지 카테고리에서의 성능 향상 여부는?

주요 결과

• 제안된 종단간 가짜 LiDAR(E2E-PL) 프레임워크는 PointRCNN 기반으로 제출 당시 KITTI 이미지 기반 3D 객체 탐지 랭킹에서 최고의 mAP 성능을 기록하여 기준 가짜 LiDAR 및 PL++를 모두 압도한다.
• 기준 가짜 LiDAR 대비 E2E-PL은 중간 카테고리에서 3.5%, 어려운 카테고리에서 4.2%의 mAP 향상을 기록한다.
• 정성적 결과 분석을 통해 종단간 학습이 객체 상단의 깊이 추정 아티팩트를 크게 줄이고, 특히 먼 거리에 있거나 가려진 객체 주변의 포인트 클라우드 품질을 향상시킨다.
• 모든 카테고리에서 탐지 성능 향상이 확인되었으며, E2E-PL은 어려운 카테고리에서 77.1%의 mAP를 달성했고, PL++는 72.9%, 기준 PL은 70.1%였다.
• E2E-PL의 추론 속도는 기준 가짜 LiDAR와 유사하며, PointRCNN 기반으로는 1GPU에서 0.49초/프레임, PIXOR 기반으로는 0.55초/프레임를 기록하여 계산 오버헤드가 최소한임을 보여준다.
• 소프트 양자화 CoR 모듈은 깊이 예측 향상과 특히 도전적인 상황에서의 오분류 감소를 통해 효과적인 기울기 흐름을 가능하게 함을 입증한다.

Figure 2: Pixel distribution: $90\%$ of all pixels correspond to background. The 10% pixels associated with cars and people ( $<1$ % people) are primarily within a depth of 20m.