[논문 리뷰] Multi-View 3D Object Detection Network for Autonomous Driving

Xiaozhi Chen, Huimin Ma외 3명|arXiv (Cornell University)|2016. 11. 23.

Advanced Neural Network Applications참고 문헌 30인용 수 66

한 줄 요약

이 논문은 LIDAR 포인트 클라우드와 RGB 이미지를 융합하여 기울어진 3D 경계 상자(oriented 3D bounding boxes)를 예측하는 다중 시야 3D 객체 검출 네트워크 MV3D를 제안한다. 효율적인 3D 프로포절 생성을 위해 포인트 클라우드의 조랑 시야도(鳥瞰図, bird's eye view) 및 정면 시야도(front view) 투영을 사용하며, 이후 뷰 간 지역 기반 특징을 융합하는 딥 융합 네트워크를 통해 상태 기반 기법 대비 KITTI 벤치마크에서 3D 위치 지정 AP가 25% 향상되고 3D 검출 AP가 30% 향상되었다.

ABSTRACT

This paper aims at high-accuracy 3D object detection in autonomous driving scenario. We propose Multi-View 3D networks (MV3D), a sensory-fusion framework that takes both LIDAR point cloud and RGB images as input and predicts oriented 3D bounding boxes. We encode the sparse 3D point cloud with a compact multi-view representation. The network is composed of two subnetworks: one for 3D object proposal generation and another for multi-view feature fusion. The proposal network generates 3D candidate boxes efficiently from the bird's eye view representation of 3D point cloud. We design a deep fusion scheme to combine region-wise features from multiple views and enable interactions between intermediate layers of different paths. Experiments on the challenging KITTI benchmark show that our approach outperforms the state-of-the-art by around 25% and 30% AP on the tasks of 3D localization and 3D detection. In addition, for 2D detection, our approach obtains 10.3% higher AP than the state-of-the-art on the hard data among the LIDAR-based methods.

연구 동기 및 목표

• 자율 주행 환경에서 LIDAR 포인트 클라우드와 RGB 이미지를 융합하여 3D 객체 검출 정확도를 향상시키기 위해.
• LIDAR는 정밀한 깊이 정보를, 이미지는 풍부한 의미 정보를 제공하는 점을 고려해 단일 모odal 기반 방법의 한계를 보완하기 위해 강력한 다중 모달 융합 프레임워크를 설계하기 위해.
• 희소 포인트 클라우드의 조랑 시야도 표현을 활용하여 정확한 3D 객체 프로포절을 생성하기 위해.
• 지역 기반 융합 네트워크를 통해 여러 뷰 간 깊은 교차 모달 특징 상호작용을 가능하게 하기 위해.
• 특히 도전적인 IoU 임계치 조건 하에서도 3D 위치 지정, 3D 검출, 2D 검출 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 네트워크는 LIDAR 포인트 클라우드의 조랑 시야도(BEV) 표현을 사용하여 효율적으로 3D 객체 프로포절을 생성한다.
• 3D 프로포절을 여러 뷰(BEV, 정면 시야도, RGB 이미지)로 투영하여 지역 기반 특징 추출을 수행한다.
• 딥 융합 네트워크는 ROI 풀링을 활용해 서로 다른 뷰의 특징을 융합하며, 별도의 경로에서의 중간 레이어 간 상호작용을 가능하게 한다.
• 융합 전략은 드롭패스 훈련과 보조 손실을 활용하여 특징 학습과 일반화 능력을 향상시킨다.
• 융합된 특징에 기반해 기울어진 3D 박스 회귀를 수행하여 정확한 3D 위치, 크기, 방향을 예측한다.
• 표준 3D 검출 및 2D 검출 메트릭을 사용하여 KITTI 벤치마크에서 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 LIDAR와 RGB 특징을 융합하는 딥 융합 프레임워크가 단일 모달 또는 조기/후기 융합 방법을 초월해 3D 객체 검출 정확도를 향상시킬 수 있는가?
• RQ2 희소 포인트 클라우드에서 3D 객체 프로포절을 생성하기 위해 조랑 시야도와 정면 시야도 투영을 활용한 다중 시야 인코딩 기법은 얼마나 효과적인가?
• RQ3 지역 기반의 교차 뷰 특징 상호작용은 3D 위치 지정 및 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 3D 박스 기반으로 훈련된 3D 검출 네트워크가 여전히 KITTI 벤치마크에서 경쟁적인 2D 검출 성능을 달성할 수 있는가?
• RQ5 엄격한 IoU 임계치 조건 하에서 LIDAR와 이미지 모달을 융합하는 것이 3D 검출 및 위치 지정 정확도에 미치는 영향은 어떠한가?

주요 결과

• 단지 300개의 프로포절만으로도 IoU=0.25일 때 99.1%의 3D 리콜을 달성하고, IoU=0.5일 때는 91%를 기록하여 3DOP 및 Mono3D를 크게 앞서는 성능을 보였다.
• LIDAR 기반 버전은 KITTI 벤치마크에서 3D 위치 지정 AP가 25% 향상되고 3D 검출 AP가 30% 향상되었다.
• 어려운 테스트 세트에서, 이 방법은 모든 LIDAR 기반 2D 검출 방법보다 10.3% 높은 AP를 기록하여 3D 예측에서 유의미한 2D 검출 능력을 입증했다.
• BEV, FV, RGB의 세 뷰에서의 특징 융합이 가장 높은 성능을 보였으며, 이는 다중 시야 표현의 상호보완적 성질을 확인시켰다.
• 보조 손실을 포함한 딥 융합 네트워크는 조기/후기 융합 기반 모델 대비 약 1% 향상된 성능을 보였고, 보조 손실 없이도 약 0.5%의 성능 향상이 있었다.
• 시각화 결과 MV3D는 VeloFCN 및 3DOP보다 위치, 크기, 방향 측면에서 더 정확한 3D 경계 상자를 생성하는 것으로 나타났다.