[논문 리뷰] HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection

Jongyoun Noh, Sanghoon Lee외 1명|arXiv (Cornell University)|2021. 04. 02.

Advanced Neural Network Applications참고 문헌 4인용 수 4

한 줄 요약

HVPR는 메모리 보강형 컨volution 네트워크를 통해 복합체 기반 및 포인트 기반 특징을 융합하는 단일 단계 3D 객체 검출 프레임워크를 제안한다. 이는 높은 정확도와 효율성을 동시에 달성한다. 메모리 모듈을 사용해 포인트 기반 특징을 저장하고 검색함으로써 실시간 인퍼런스를 가능하게 하면서도 세밀한 3D 구조를 유지한다. KITTI의 중간 수준 차량 검출에서 81.32% mAP을 달성하고, 36.1 fps의 빠른 속도를 기록한다.

ABSTRACT

We address the problem of 3D object detection, that is, estimating 3D object bounding boxes from point clouds. 3D object detection methods exploit either voxel-based or point-based features to represent 3D objects in a scene. Voxel-based features are efficient to extract, while they fail to preserve fine-grained 3D structures of objects. Point-based features, on the other hand, represent the 3D structures more accurately, but extracting these features is computationally expensive. We introduce in this paper a novel single-stage 3D detection method having the merit of both voxel-based and point-based features. To this end, we propose a new convolutional neural network (CNN) architecture, dubbed HVPR, that integrates both features into a single 3D representation effectively and efficiently. Specifically, we augment the point-based features with a memory module to reduce the computational cost. We then aggregate the features in the memory, semantically similar to each voxel-based one, to obtain a hybrid 3D representation in a form of a pseudo image, allowing to localize 3D objects in a single stage efficiently. We also propose an Attentive Multi-scale Feature Module (AMFM) that extracts scale-aware features considering the sparse and irregular patterns of point clouds. Experimental results on the KITTI dataset demonstrate the effectiveness and efficiency of our approach, achieving a better compromise in terms of speed and accuracy.

연구 동기 및 목표

• 포인트 클라우드를 사용한 3D 객체 검출에서 정확도와 효율성의 상호 갈등을 해결한다.
• 복합체 기반 방법의 한계(세밀한 구조 손실)와 포인트 기반 방법의 한계(높은 계산 비용)를 극복한다.
• 복합체 기반 및 포인트 기반 특징의 장점을 통합해 단일 단계 검출을 위한 효율적인 통합 표현을 구현한다.
• 포인트 기반 특징의 인퍼런스 비용을 낮추기 위해 성능 저하 없이 메모리 모듈을 개발한다.
• 3D 스케일 인식 표현을 활용해 흩어져 있고 비정규적인 포인트 클라우드에서의 다중 스케일 특징 학습을 향상시킨다.

제안 방법

• 복합체 기반 및 포인트 기반 특징을 별도로 추출하기 위해 이중 스트림 인코더를 제안한다.
• 인퍼런스 중에 포인트 기반 특징을 저장하고 검색하는 메모리 모듈을 도입하여 실시간 인코더 계산이 필요 없도록 한다.
• 복합체 위치 기반으로 의미적 유사도에 따라 메모리에 저장된 포인트 특징을 집계하여 하이브리드 가짜 이미지 표현을 형성한다.
• 3D 스케일 특징을 사용해 공간 주의 메커니즘을 통해 다중 스케일 특징을 정밀하게 보정하는 주의 집중형 다중 스케일 특징 모듈(AMFM)을 설계한다.
• 하이브리드 가짜 이미지를 단일 단계 검출기의 입력으로 사용하여 엔드 투 엔드 3D 경계 상자 예측을 수행한다.
• 표준 검출 헤드를 사용해 엔드 투 엔드로 모델을 훈련시키며, mAP 및 인퍼런스 속도 최적화를 목표로 한다.

실험 결과

연구 질문

• RQ1 복합체와 포인트 기반 특징을 융합한 하이브리드 3D 표현이 정확도를 향상시키면서도 인퍼런스 효율성을 유지할 수 있는가?
• RQ2 메모리 모듈이 포인트 기반 특징 추출의 계산 비용을 낮추는 데 얼마나 효과적인가? 성능 저하 없이 가능한가?
• RQ3 스케일 인식 특징이 흩어져 있고 비정규적인 포인트 클라우드에서 검출 성능 향상에 얼마나 기여하는가?
• RQ4 복합체와 포인트 기반 특징의 융합이 작은 객체나 가림된 객체의 정확한 국소화에 기여하는가?
• RQ5 제안된 방법이 기존 단일 단계 3D 검출기 대비 더 나은 속도-정확도 트레이드오프를 달성할 수 있는가?

주요 결과

• 제안된 HVPR는 KITTI 중간 수준 차량 검출 분할에서 81.32% mAP을 달성하여 기준 모델 PointPillars보다 하드 샘플에서 1.94% mAP 향상을 기록했다.
• 메모리 모듈 덕분에 인퍼런스 속도가 6.8Hz(전체 포인트 인코더)에서 37.9Hz로 향상되었으며, 이는 기준 PointPillars의 39.5Hz에 거의 근접하면서도 높은 정확도를 유지함을 의미한다.
• AMFM에 3D 스케일 특징을 활용함으로써 하드 분할에서 1.63% mAP 향상이 이루어졌으며, 이는 복잡한 스케일 변동에 대한 효과성을 입증한다.
• 모델은 36.1 fps의 인퍼런스 속도를 기록하여 최신 기술 대비 뛰어난 속도-정확도 트레이드오프를 확보했다.
• 절단 실험 결과, 메모리 모듈과 3D 스케일 특징을 활용한 AMFM이 모두 필수적임을 확인하였으며, 후자는 하드 분할에서 1.27% mAP 향상 기여했다.
• mAP 성능은 메모리 항목 수(T)에 대해 뛰어난 안정성을 보였으며, 최적의 성능은 K=20개의 가장 가까운 항목에서 달성되었으며, 이는 효과적인 특징 집계를 의미한다.