[논문 리뷰] PLUME: Efficient 3D Object Detection from Stereo Images.

Yan Wang, Bin Yang외 3명|arXiv (Cornell University)|2021. 01. 17.

Advanced Neural Network Applications참고 문헌 49인용 수 11

한 줄 요약

이 논문은 스테레오 이미지에서 직접 3D 가짜 LiDAR 특징 볼륨을 구성하는 통합 프레임워크인 PLUME을 제안한다. 이는 깊이 추정과 3D 객체 검출을 동일한 척도 공간에서 동시에 최적화할 수 있도록 한다. 깊이 헤드와 검출 헤드 간의 표현 불일치를 제거함으로써, 기존 스테레오 기반 방법보다 훨씬 빠른 추론 속도를 기록하면서 KITTI 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

3D object detection is a key component of many robotic applications such as self-driving vehicles. While many approaches rely on expensive 3D sensors such as LiDAR to produce accurate 3D estimates, methods that exploit stereo cameras have recently shown promising results at a lower cost. Existing approaches tackle this problem in two steps: first depth estimation from stereo images is performed to produce a pseudo LiDAR point cloud, which is then used as input to a 3D object detector. However, this approach is suboptimal due to the representation mismatch, as the two tasks are optimized in two different metric spaces. In this paper we propose a model that unifies these two tasks and performs them in the same metric space. Specifically, we directly construct a pseudo LiDAR feature volume (PLUME) in 3D space, which is then used to solve both depth estimation and object detection tasks. Our approach achieves state-of-the-art performance with much faster inference times when compared to existing methods on the challenging KITTI benchmark.

연구 동기 및 목표

• 스테레오 기반 3D 객체 검출에서 깊이 추정과 검출이 별개의 척도 공간에서 최적화되는 표현 불일치 문제를 해결하기 위해.
• 깊이 추정과 3D 검출을 하나의 종단 간(end-to-end) 학습 가능한 프레임워크로 통합함으로써 효율성과 정확도를 향상시키기 위해.
• 에러 전파와 비효율을 유발하는 중간 단계의 가짜 LiDAR 포인트 클라우드가 필요 없도록 하기 위해.
• 단지 스테레오 이미지만을 사용하여 고비용 LiDAR 센서를 회피하면서 KITTI 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 해당 방법은 깊이와 검출 작업을 동시에 최적화할 수 있도록, 공유된 3D 공간에서 스테레오 이미지에서 직접 3D 가짜 LiDAR 특징 볼륨(PLUME)을 구성한다.
• 스테레오 이미지 쌍을 활용하여 각 3D 바vox 레벨에서 깊이를 회귀함으로써 기하학적 및 의미적 정보를 모두 포함하는 조밀한 3D 특징 볼륨을 형성한다.
• 이 3D 특징 볼륨은 깊이 추정과 3D 객체 검출을 동시에 수행할 수 있는 단일 네트워크 헤드의 입력으로 사용된다.
• 프레임워크는 깊이 감독과 검출 감독을 동일한 3D 공간에서 균형 잡힌 다중 작업 손실을 통해 종단 간으로 훈련된다.
• 중간 단계의 희소 포인트 클라우드 생성을 피함으로써 계산 오버헤드와 오차 누적을 감소시킨다.
• 통합된 표현에서 깊이와 객체 검출을 예측하기 위해 3D 컨볼루션 신경망을 사용한다.

실험 결과

연구 질문

• RQ1 공유된 3D 척도 공간에서 깊이 추정과 3D 객체 검출을 동시에 최적화하면 순차적 파이프라인에 비해 성능 향상이 이루어지는가?
• RQ2 중간 단계의 가짜 LiDAR 포인트 클라우드를 제거함으로써 오차 전파가 감소하고 추론 속도가 향상되는가?
• RQ3 기존의 스테레오 기반 방법과 비교할 때, 제안된 통합 3D 특징 볼륨은 KITTI 벤치마크에서 정확도와 효율성 측면에서 어떻게 성과를 내는가?
• RQ4 통합 훈련 방식이 작업 간 특징 일관성과 일반화 능력을 얼마나 향상시키는가?

주요 결과

• PLUME는 단지 스테레오 이미지만을 사용하여 KITTI 3D 객체 검출 벤치마크에서 최고 성능을 달성한다.
• 기존의 스테레오 기반 3D 검출 접근 방식에 비해 훨씬 빠른 추론 시간을 보였다.
• 깊이와 검출을 하나의 3D 특징 볼륨에 통합함으로써, 이중 단계 스테레오 파이프라인에서 야기되는 표현 불일치 문제를 줄였다.
• 공유된 척도 공간에서의 공동 최적화로 인해 특징 일관성과 검출 정확도가 향상되었다.
• 중간 단계의 포인트 클라우드 생성 단계를 제거함으로써 계산 비용과 오차 누적도 감소시켰다.
• 정확도와 속도 양 측면에서 이전의 스테레오 기반 방법을 모두 능가하며, KITTI에서 새로운 최고 성능(SOTA)을 확립했다.