[논문 리뷰] Voxel R-CNN: Towards High Performance Voxel-based 3D Object Detection

Jiajun Deng, Shaoshuai Shi외 4명|arXiv (Cornell University)|2020. 12. 31.

Advanced Neural Network Applications인용 수 11

한 줄 요약

Voxel R-CNN는 점 기반 표현 대신 복셀 기반 표현을 활용함으로써 KITTI 및 Waymo Open Dataset에서 최고 성능을 기록하면서도 실시간 추론(25 FPS)을 유지하는 고성능이고 효율적인 3D 객체 검출 프레임워크를 제안한다. 이는 복셀 특징 볼륨에서 직접 3D 영역 특징을 추출하기 위해 복셀 RoI 풀링을 도입하여 3D 백본, 2D BEV RPN, 국소 특징 집합을 통합한 검출 헤드를 결합함으로써 정밀한 점 위치 정보에 의존하지 않고도 효율성과 정확도를 향상시킨다.

ABSTRACT

Recent advances on 3D object detection heavily rely on how the 3D data are represented, \emph{i.e.}, voxel-based or point-based representation. Many existing high performance 3D detectors are point-based because this structure can better retain precise point positions. Nevertheless, point-level features lead to high computation overheads due to unordered storage. In contrast, the voxel-based structure is better suited for feature extraction but often yields lower accuracy because the input data are divided into grids. In this paper, we take a slightly different viewpoint -- we find that precise positioning of raw points is not essential for high performance 3D object detection and that the coarse voxel granularity can also offer sufficient detection accuracy. Bearing this view in mind, we devise a simple but effective voxel-based framework, named Voxel R-CNN. By taking full advantage of voxel features in a two stage approach, our method achieves comparable detection accuracy with state-of-the-art point-based models, but at a fraction of the computation cost. Voxel R-CNN consists of a 3D backbone network, a 2D bird-eye-view (BEV) Region Proposal Network and a detect head. A voxel RoI pooling is devised to extract RoI features directly from voxel features for further refinement. Extensive experiments are conducted on the widely used KITTI Dataset and the more recent Waymo Open Dataset. Our results show that compared to existing voxel-based methods, Voxel R-CNN delivers a higher detection accuracy while maintaining a real-time frame processing rate, \emph{i.e}., at a speed of 25 FPS on an NVIDIA RTX 2080 Ti GPU. The code is available at \url{https://github.com/djiajunustc/Voxel-R-CNN}.

연구 동기 및 목표

• 정밀한 점 위치 정보가 고정밀 3D 객체 검출에 필수적이라는 일반적인 믿음을 도전하기 위해.
• 최신 점 기반 모델과 비슷한 정확도를 달성하면서도 계산 비용을 크게 줄이는 복셀 기반 검출기 개발을 위해.
• 복셀 특징 볼륨에서 직접 3D 특징을 추출하여 3D 공간적 맥락을 유지함으로써 복셀 기반 검출 성능을 향상시키기 위해.
• 정확도와 추론 속도의 균형을 잡은 단순하면서도 효과적인 3D 객체 검출 기반선을 만들기 위해.

제안 방법

• 해당 방법은 복셀화된 점군에서 계층적 특징을 추출하기 위해 3D 백본 네트워크를 사용한다.
• 2D 조망도(鳥瞰도, BEV) 영역 제안 네트워크(RPN)를 활용하여 2D 특징 맵에서 고밀도 영역 제안을 생성한다.
• 새로운 복셀 RoI 풀링 레이어는 3D 복셀 특징 볼륨에서 직접 3D 영역 관심(ROI) 특징을 추출하여 공간적 맥락을 유지한다.
• 이웃 인식 기반 특징 추출을 활용하여 복셀 RoI 풀링의 속도를 향상시키기 위해 국소 특징 집합 모듈을 도입한다.
• 복셀 RoI 풀링을 통해 추출된 특징을 사용하여 경계 상자들을 정밀하게 보정하는 검출 헤드가 구현되어 엔드 투 엔드 두 단계 검출이 가능해진다.
• 이 프레임워크는 효율적이고 확장 가능하도록 설계되어 소비자용 GPU에서 실시간 추론을 구현한다.

실험 결과

연구 질문

• RQ1 정밀한 점 위치 정보에 의존하지 않고도 복셀 기반 3D 객체 검출기가 최신 점 기반 모델과 유사한 정확도를 달성할 수 있는가?
• RQ2 파ip라인 초기 단계에서 2D BEV 표현으로 변환하기 전에 복셀 특징 볼륨에서 3D 공간적 맥락을 유지하면 검출 성능이 향상되는가?
• RQ3 복셀 RoI 풀링이 3D 복셀 특징에서 분류에 유용한 특징을 효과적으로 추출할 수 있는가?
• RQ4 일반 하드웨어에서 고정밀 복셀 기반 검출기로 실시간 추론 속도(예: 25 FPS)를 달성할 수 있는가?
• RQ5 기존의 복셀 기반 및 점 기반 검출기와 비교할 때, 다양한 벤치마크에서 정확도와 효율성 측면에서 본 연구 방법의 성능은 어떠한가?

주요 결과

• Voxel R-CNN는 KITTI 검증 세트에서 84.52%의 중간 수준 3D 평균 정밀도(AP)를 기록하여 대부분의 기존 복셀 기반 방법을 뛰어넘었다.
• 모델은 NVIDIA RTX 2080 Ti GPU에서 25.2 FPS로 실행되어 실시간 추론 능력을 입증했다.
• 제거 분석 결과, 검출 헤드, 복셀 쿼리, 가속화된 PointNet 모듈을 조합할 경우 최고의 성능(84.52% AP)을 달성함을 확인했다.
• 정밀도는 유사하면서도 추론 속도 면에서 PV-RCNN와 같은 점 기반 모델을 능가했다.
• 정밀한 점 위치 정보가 고성능 3D 검출에 필수적인 것은 아니며, 낮은 해상도의 복셀 해상도만으로도 충분한 공간적 맥락을 제공할 수 있음을 검증했다.
• 이 프레임워크는 향후 3D 검출 연구 및 후속 응용 분야를 위한 강력하고 효율적인 기반선으로 기능한다.