[논문 리뷰] VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection

Yin Zhou, Oncel Tuzel|arXiv (Cornell University)|2017. 11. 17.

Advanced Neural Network Applications참고 문헌 39인용 수 314

한 줄 요약

VoxelNet은 공간을 보셀(voxel)화하고 보셀 특징 인코딩을 적용하며 3D 경계 상자를 예측하는 RPN을 사용하여 희소한 3D LiDAR 포인트 구름에서 직접 작동하는 엔드-투-엔드 학습 가능한 프레임워크를 소개합니다. 수작업 특징 없이 KITTI에서 최첨단 성능을 달성합니다.

ABSTRACT

Accurate detection of objects in 3D point clouds is a central problem in many applications, such as autonomous navigation, housekeeping robots, and augmented/virtual reality. To interface a highly sparse LiDAR point cloud with a region proposal network (RPN), most existing efforts have focused on hand-crafted feature representations, for example, a bird's eye view projection. In this work, we remove the need of manual feature engineering for 3D point clouds and propose VoxelNet, a generic 3D detection network that unifies feature extraction and bounding box prediction into a single stage, end-to-end trainable deep network. Specifically, VoxelNet divides a point cloud into equally spaced 3D voxels and transforms a group of points within each voxel into a unified feature representation through the newly introduced voxel feature encoding (VFE) layer. In this way, the point cloud is encoded as a descriptive volumetric representation, which is then connected to a RPN to generate detections. Experiments on the KITTI car detection benchmark show that VoxelNet outperforms the state-of-the-art LiDAR based 3D detection methods by a large margin. Furthermore, our network learns an effective discriminative representation of objects with various geometries, leading to encouraging results in 3D detection of pedestrians and cyclists, based on only LiDAR.

연구 동기 및 목표

• 수작업 특징 없이 LiDAR 기반 3D 물체 탐지를 추진한다.
• 포인트-와이즈 및 보셀 수준 표현을 학습하는 통합된 엔드-투-엔드 아키텍처를 제안한다.
• 보셀 특징 인코딩 레이어를 도입하여 수동 특징 공학의 필요성을 제거한다.
• LiDAR만으로 KITTI의 자동차, 보행자, 사이클리스트 탐지에서 최첨단 성능을 시연한다.

제안 방법

• 3D 공간을 규칙적인 보셀 격자로 분할하고 포인트를 보셀별로 그룹화한다.
• 포인트-와이즈 정보와 로컬로 집계된 정보를 결합하여 보셀별 특징을 학습하는 보셀 특징 인코딩(VFE) 레이어를 도입한다.
• 다수의 VFE 레이어를 쌓아 보셀 내의 상호 작용을 포착하고 보셀-단위 특징을 생성한다.
• 비어있지 않은 보셀을 희소 4D 텐서로 표현하여 희소성을 이용하고 GPU 처리를 효율화한다.
• 보셀 간의 맥락을 집계하기 위해 3D 합성곱 중간 레이어를 적용한다.
• 밀집 보셀 특징 맵에서 작동하여 3D 탐지를 생성하는 Region Proposal Network(RPN)를 연결한다.

실험 결과

연구 질문

• RQ1 원시 LiDAR 포인트에서 직접 엔드-투-엔드 학습이 3D 물체 탐지를 위한 수동 특징 방법을 능가할 수 있는가?
• RQ2 보셀 기반 특징 인코딩이 희소한 포인트 구름 내에서 효과적인 3D 형태 표현을 가능하게 하는가?
• RQ3 LiDAR만으로 자동차, 보행자, 사이클리스트에 대해 KITTI에서 최첨단 결과를 달성할 수 있는가?
• RQ4 BEV와 3D 공간에서 탐지 성능에 대한 엔드-투-엔드 학습과 수작업 기반 기준선의 영향은 무엇인가?

주요 결과

방법	모달리티	차량 쉬움	차량 보통	차량 어려움	보행자 쉬움	보행자 보통	보행자 어려움	사이클리스트 쉬움	사이클리스트 보통	사이클리스트 어려움
HC-baseline	LiDAR	71.73	59.75	55.69	43.95	40.18	37.48	55.35	36.07	34.15
VoxelNet	LiDAR	89.60	84.81	78.57	65.95	61.05	56.98	74.41	52.18	50.49

• VoxelNet은 KITTI 자동차 탐지에서 쉬움, 보통, 어려움 수준 모두에서 3D 및 BEV 기준으로 최첨단 LiDAR 기반 3D 탐지 방법을 능가한다.
• 3D 탐지에서 VoxelNet은 모든 난이도 수준에서 자동차에 대해 이전 LiDAR+RGB 방법 MV보다 더 높은 AP를 달성한다.
• VoxelNet은 수작업 기반 기준선에 비해 보행자와 사이클리스트의 3D 탐지 성능이 현저히 우수하여 3D 형태 표현을 위한 엔드-투-엔드 학습의 이점을 강조한다.
• KITTI 테스트 세트 결과는 LiDAR 데이터만 사용하여 VoxelNet이 Bird’s-eye-view와 3D 작업에서 이전 방법들을 능가함을 시사한다.
• 효율적인 구현은 희소 보셀 표현과 GPU-병렬로 쌓인 VFE 레이어를 활용해 계산 시간을 관리 가능하게 한다.