[논문 리뷰] Accurate Monocular Object Detection via Color-Embedded 3D Reconstruction for Autonomous Driving

Xinzhu Ma, Zhihui Wang외 4명|arXiv (Cornell University)|2019. 03. 27.

Advanced Neural Network Applications참고 문헌 45인용 수 16

한 줄 요약

이 논문은 RGB 이미지에서 3D 포인트 클라우드를 재구성하고 이를 RGB 특징과 융합함으로써 성능을 향상시키는 단안 3D 객체 검출 프레임워크를 제안한다. 깊이 추정 및 포인트 클라우드 표현을 활용함으로써 공간적 이해를 향상시키고, KITTI 벤치마크에서 기존 단안 방법 대비 3D 위치 지정 및 검출 AP에서 각각 15%와 11% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a monocular 3D object detection framework in the domain of autonomous driving. Unlike previous image-based methods which focus on RGB feature extracted from 2D images, our method solves this problem in the reconstructed 3D space in order to exploit 3D contexts explicitly. To this end, we first leverage a stand-alone module to transform the input data from 2D image plane to 3D point clouds space for a better input representation, then we perform the 3D detection using PointNet backbone net to obtain objects 3D locations, dimensions and orientations. To enhance the discriminative capability of point clouds, we propose a multi-modal feature fusion module to embed the complementary RGB cue into the generated point clouds representation. We argue that it is more effective to infer the 3D bounding boxes from the generated 3D scene space (i.e., X,Y, Z space) compared to the image plane (i.e., R,G,B image plane). Evaluation on the challenging KITTI dataset shows that our approach boosts the performance of state-of-the-art monocular approach by a large margin.

연구 동기 및 목표

• 단안 이미지 기반과 LiDAR 기반 3D 객체 검출 간 성능 격차를 해소하기 위해 입력 표현을 향상시키기.
• 2D RGB 특징이 3D 검출 작업에서 공간적 맥락을 포착하는 데 한계가 있음을 극복하기.
• 보완적인 RGB 및 3D 포인트 클라우드 표현을 융합하여 특징의 구분 능력을 향상시키기.
• 단안 설정에서 깊이 맵보다 3D 포인트 클라우드 표현이 3D 검출에 더 효과적임을 입증하기.
• 단지 단안 RGB 입력만을 사용하여 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하기.

제안 방법

• 단일 RGB 이미지에서 2D 객체 검출 및 깊이 맵을 예측하기 위해 독립형 CNN 기반 프론트엔드를 사용한다.
• 카메라 캘리브레이션 파라미터를 활용해 예측된 깊이 맵을 3D 포인트 클라우드로 변환함으로써 명시적인 3D 공간 표현을 가능하게 한다.
• 재구성된 포인트 클라우드로부터 3D 바운딩 박스(위치, 치수, 방향)를 예측하기 위해 PointNet을 3D 검출 백본으로 적용한다.
• RGB 특징을 3D 포인트 클라우드 표현에 임bed하는 다중 모달 특징 융합 모듈을 도입하여 구분 능력을 향상시킨다.
• 모든 네트워크를 엔드 투 엔드로 훈련하며, 훈련 후 추론은 오직 RGB 입력에서만 수행된다.
• 성능 안정성을 확보하기 위해 데이터 증강 및 강력한 샘플링 전략을 활용하여 포인트 클라우드의 밀도 변화 및 손상에 대응한다.

실험 결과

연구 질문

• RQ1 단안 이미지 입력을 3D 포인트 클라우드로 변환하는 것이 직접 2D 특징 학습에 비해 3D 객체 검출 성능을 크게 향상시키는가?
• RQ2 RGB와 3D 포인트 클라우드 특징을 융합하면 단일 모odal을 사용하는 것보다 더 높은 검출 정확도를 달성하는가?
• RQ3 제안된 방법이 포인트 클라우드 샘플링 수량의 변동과 입력 오염에 얼마나 민감한가?
• RQ4 제안된 3D 재구성 및 융합 전략이 스테레오 및 LiDAR 기반 검출으로도 일반화 가능한가?
• RQ5 공간적 추론 측면에서 3D 포인트 클라우드 표현이 깊이 맵에 비해 얼마나 더 우수한가?

주요 결과

• 제안된 방법은 KITTI 검증 세트에서 32.23% AP₃D⁰.⁷를 달성하여, 이전의 모든 단안 방법보다 3D 위치 지정에서 15% 향상되고 검출 AP에서 11% 향상되었다.
• 샘플링된 포인트 수가 64개일 경우에도 성능이 안정적(27.91% AP₃D⁰.⁷)이며, 약 512개 포인트에서 안정화됨을 보이며 샘플링 수량에 대해 낮은 민감도를 보였다.
• 포인트 클라우드의 80%가 무작위로 제거된 경우에도 70% 이상의 AP₃D⁰.⁷ 유지를 기록하여 포인트 손실에 강건함을 입증했다.
• 포인트 좌표에 가우시안 노이즈를 추가해도 성능 저하가 최소한이었으며, 입력 편향에 대한 강건함을 확인했다.
• 다중 모달 융합 모듈은 특히 가림되거나 잘린 객체에 대해 검출 정확도 향상을 보였으며, 정성적 비교를 통해 이를 확인했다.
• 모델은 잘 일반화됨: PointNet++와 RSNet을 백본으로 사용할 경우 각각 KITTI 벤치마크에서 33.17%와 33.93% AP₃D⁰.⁷로 성능 향상을 달성했다.