[논문 리뷰] PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection

Shaoshuai Shi, Li Jiang외 6명|arXiv (Cornell University)|2021. 01. 31.

Advanced Neural Network Applications참고 문헌 89인용 수 28

한 줄 요약

PV-RCNN++은 포인트 기반 특징과 보셀 기반 특징을 촘촘히 결합하여 3D 물체 탐지를 향상시키고, LiDAR 데이터에서 더 빠르고 정확한 탐지를 위해 섹터화 샘플링(sectorized sampling)과 VectorPool 집계(VectorPool aggregation)를 도입한다.

ABSTRACT

3D object detection is receiving increasing attention from both industry and academia thanks to its wide applications in various fields. In this paper, we propose Point-Voxel Region-based Convolution Neural Networks (PV-RCNNs) for 3D object detection on point clouds. First, we propose a novel 3D detector, PV-RCNN, which boosts the 3D detection performance by deeply integrating the feature learning of both point-based set abstraction and voxel-based sparse convolution through two novel steps, i.e., the voxel-to-keypoint scene encoding and the keypoint-to-grid RoI feature abstraction. Second, we propose an advanced framework, PV-RCNN++, for more efficient and accurate 3D object detection. It consists of two major improvements: sectorized proposal-centric sampling for efficiently producing more representative keypoints, and VectorPool aggregation for better aggregating local point features with much less resource consumption. With these two strategies, our PV-RCNN++ is about $3 imes$ faster than PV-RCNN, while also achieving better performance. The experiments demonstrate that our proposed PV-RCNN++ framework achieves state-of-the-art 3D detection performance on the large-scale and highly-competitive Waymo Open Dataset with 10 FPS inference speed on the detection range of 150m * 150m.

연구 동기 및 목표

• 포인트-클라우드에서 포인트 기반 및 보셀 기반 특징 학습을 결합하여 3D 물체 탐지 개선의 동기를 부여한다.
• 보셀-to-키포인트 인코딩과 키포인트-to-그리드 RoI 특징을 깊이 융합하는 2단계 검출기(PV-RCNN)를 개발한다.
• 대규모 장면에서 효율성과 정확성을 위해 섹터화 샘플링과 VectorPool 집계를 도입한 PV-RCNN++를 소개한다.

제안 방법

• 3D 희소 컨볼루션 백본을 사용해 초기 제안에 대한 다중 스케일 보셀 특징을 생성한다.
• Keypoint에서 보셀 특징을 Voxel Set Abstraction으로 요약하여 다중 스케일 키포인트 특징을 형성한다.
• RoI-그리드 풀링을 통해 키포인트 특징을 RoI-그리드 포인트에 집계하여 정밀한 보정 수행한다.
• 보정 단계에서 전경 키포인트를 강조하기 위해 예측된 키포인트 가중치를 적용한다(선택적).
• PV-RCNN++은 섹터화된 제안 중심 샘플링으로 키포인트 샘플링 속도를 높이고 VectorPool 집계로 로컬 특징 인코딩의 효율성을 높인다.

실험 결과

연구 질문

• RQ1 보셀 기반 특징과 포인트 기반 특징의 깊은 융합이 보셀 기반 또는 포인트 기반 방법만의 정확도보다 3D 탐지 성능을 향상시킬 수 있는가?
• RQ2 섹터화된 키포인트 샘플링과 VectorPool 집계가 대규모 데이터셋에서 성능을 유지하거나 향상시키면서 추론 시간과 메모리 사용량을 줄이는가?
• RQ3 제안된 RoI-그리드 풀링 전략이 이전 RoI 방법과 비교해 제안 개선 품질에 어떤 영향을 미치는가?
• RQ4 전경 중심의 키포인트 가중치가 탐지 결과에 어떤 영향을 미치는가?

주요 결과

• PV-RCNN++는 PV-RCNN보다 약 3배 빠르면서 더 우수한 성능을 달성한다.
• Waymo Open Dataset에서 150m x 150m 범위에서 최첨단 결과를 달성한다.
• 대범위 탐지를 위한 10 FPS 추론을 가능하게 한다.
• 섹터화 샘플링이 제안 주위의 키포인트를 집중시키고 샘플링 속도를 높인다.
• VectorPool 집계는 대형 포인트 클라우드를 위한 메모리 효율적이며 위치에 민감한 로컬 특징 인코딩을 제공한다.