[논문 리뷰] PLUMENet: Efficient 3D Object Detection from Stereo Images

Yan Wang, Bin Yang외 3명|arXiv (Cornell University)|2021. 01. 17.

Advanced Neural Network Applications인용 수 4

한 줄 요약

PLUMENet는 스테레오 영상에서 직접 3D 메트릭 공간에 3D 특징 볼륨인 PLUME를 구성함으로써 깊이 추정과 3D 객체 검출을 통합적으로 최적화하는 통합형 3D 특징 볼륨을 제안한다. 이로 인해 기존 방법보다 4배 빠른 추론(6.6 Hz)을 달성하면서 KITTI에서 최고 성능인 66.3% AP를 기록하였다. 이는 표현 불일치 문제를 제거하고 해상도 그대로의 특징 활용을 가능하게 하여 실현 가능하다.

ABSTRACT

3D object detection is a key component of many robotic applications such as self-driving vehicles. While many approaches rely on expensive 3D sensors such as LiDAR to produce accurate 3D estimates, methods that exploit stereo cameras have recently shown promising results at a lower cost. Existing approaches tackle this problem in two steps: first depth estimation from stereo images is performed to produce a pseudo LiDAR point cloud, which is then used as input to a 3D object detector. However, this approach is suboptimal due to the representation mismatch, as the two tasks are optimized in two different metric spaces. In this paper we propose a model that unifies these two tasks and performs them in the same metric space. Specifically, we directly construct a pseudo LiDAR feature volume (PLUME) in 3D space, which is then used to solve both depth estimation and object detection tasks. Our approach achieves state-of-the-art performance with much faster inference times when compared to existing methods on the challenging KITTI benchmark.

연구 동기 및 목표

• 스테레오 기반 3D 검출에서 영상 공간의 깊이 추정과 3D 공간의 객체 검출 간의 표현 불일치 문제를 해결한다.
• 영상 공간에서의 3D 비용 볼륨 구축과 관련된 계산 및 메모리 비용을 감소시킨다.
• 영상 공간 처리에서 발생하는 시각적 왜곡 영향을 줄여 장거리 검출 성능을 향상시킨다.
• 메트릭 공간 내 통합된 3D 특징 볼륨을 통해 깊이와 검출의 엔드 투 엔드 공동 최적화를 가능하게 한다.
• 실시간 자율주행 응용을 위한 실현 가능한 빠른 추론과 함께 최고 성능을 달성한다.

제안 방법

• 스테레오 영상 특징에서 직접 3D 메트릭 공간에 의사 LiDAR 특징 볼륨(PLUME)을 구성함으로써 영상 공간의 비용 볼륨 구축을 회피한다.
• 전체 해상도 스테레오 영상 특징을 사용해 PLUME를 구축함으로써 샘플링을 방지하고 공간적 세부 정보를 유지한다.
• 깊이 추정과 3D 객체 검출을 동일한 3D/BEV 공간에서 수행함으로써 공유된 특징 학습과 공동 최적화를 가능하게 한다.
• PLUME에서 양성 특징을 추출하기 위해 3D 및 2D 합성곱을 3D-BEV 네트워크 아키텍처에 통합하여 두 작업 모두에 활용한다.
• 이중선형 와핑과 3D 특징과의 융합을 통해 영상 특징을 통합함으로써 검출 성능을 향상시킨다.
• 깊이 추정에 대한 지도 학습으로 3D 점유도 예측을 사용함으로써 영상 공간에서의 시각적 왜곡에 기인한 편향을 감소시킨다.

실험 결과

연구 질문

• RQ1 메트릭 공간 내 통합된 3D 특징 볼륨 표현이 순차적 영상-에서-3D 파이프라인에 비해 깊이 추정과 3D 검출 성능을 향상시킬 수 있는가?
• RQ2 영상 공간 비용 볼륨 방법과 비교해 3D 공간에 직접 특징 볼륨을 구축할 경우 계산 비용과 메모리 사용량이 감소하는가?
• RQ3 3D 공간에서의 공동 최적화가 영상 기반 방법에서 장거리 깊이 추정에 영향을 주는 시각적 왜곡 편향을 완화시킬 수 있는가?
• RQ4 3D 공간에서 전체 해상도 영상 특징을 사용할 경우 검출 정확도와 추론 속도는 어느 정도 향상되는가?
• RQ5 기존의 특징 볼륨 형식(예: 디스parity FV, 디pth FV, 의사 LiDAR FV)과 비교해 제안된 PLUME 표현 방식은 정확도와 효율성 측면에서 어떤가?

주요 결과

• PLUMENet-Middle는 KITTI 테스트 세트에서 중간 수준의 Bird’s Eye View 평균 정밀도(AP) 66.3%를 기록하여 외부 학습 데이터 없이도 모든 이전 방법을 초월하였다.
• 모델은 6.6 Hz(프레임당 150 ms)로 실행되어 CDN 및 DSGN과 같은 고정밀도 기준 기준선 대비 4배 빠른 속도를 기록하였다.
• 대규모 PLUMENet-Large 모델은 최고 성능 기준 방법들을 크게 능가하여 PLUME 접근법의 확장 가능성을 입증하였다.
• 제거 분석 결과, 전체 해상도 영상 특징이 다운샘플링된 특징보다 더 높은 성능을 보였으며, 해상도가 낮아질수록 AP가 감소하는 경향을 보였다.
• 영상 특징 융합은 검출 성능을 0.4 AP 포인트 향상시켜 고해상도 영상 정보의 유용성을 확인하였다.
• 정성적 결과에서는 PLUMENet-Large가 정확한 객체 형태와 낮은 가짜 양성 결과를 보이며 고품질의 점유도 예측을 생성하는 것으로 나타났다.