[논문 리뷰] VPFNet: Voxel-Pixel Fusion Network for Multi-class 3D Object Detection

Chia‐Hung Wang, Hsueh-Wei Chen외 1명|arXiv (Cornell University)|2021. 11. 01.

Advanced Neural Network Applications인용 수 16

한 줄 요약

VPFNet은 라이다 볼륨 특징과 카메라 픽셀 특징을 볼륨-픽셀 융합(VPF) 레이어를 통해 융합하는 새로운 이중 스트림 3D 객체 검출 네트워크로, 기하학적 관계를 명시적으로 모델링하고 파라미터를 학습시켜 특징 융합을 향상시킨다. 이는 KITTI 벤치마크에서 최고 성능을 기록하며, 어려운 보행자 검출 클래스에서 랭킹 1위를 차지했고, 중간 난이도 조건에서 64.48%의 mAP을 기록했다.

ABSTRACT

Many LiDAR-based methods for detecting large objects, single-class object detection, or under easy situations were claimed to perform quite well. However, their performances of detecting small objects or under hard situations did not surpass those of the fusion-based ones due to failure to leverage the image semantics. In order to elevate the detection performance in a complicated environment, this paper proposes a deep learning (DL)-embedded fusion-based multi-class 3D object detection network which admits both LiDAR and camera sensor data streams, named Voxel-Pixel Fusion Network (VPFNet). Inside this network, a key novel component is called Voxel-Pixel Fusion (VPF) layer, which takes advantage of the geometric relation of a voxel-pixel pair and fuses the voxel features and the pixel features with proper mechanisms. Moreover, several parameters are particularly designed to guide and enhance the fusion effect after considering the characteristics of a voxel-pixel pair. Finally, the proposed method is evaluated on the KITTI benchmark for multi-class 3D object detection task under multilevel difficulty, and is shown to outperform all state-of-the-art methods in mean average precision (mAP). It is also noteworthy that our approach here ranks the first on the KITTI leaderboard for the challenging pedestrian class.

연구 동기 및 목표

• 복잡한 환경에서 소형이거나 감지하기 어려운 객체(예: 보행자)를 감지하는 데에 라이다 기반 3D 객체 검출기의 한계를 해결하기 위해.
• 희박한 라이다 포인트 클라우드에서의 의미적 맥락 부족 문제를 RGB 카메라에서의 고해상도 이미지 의미 정보를 통합함으로써 해결하기 위해.
• 볼륨-픽셀 쌍 간의 기하학적 관계를 명시적으로 모델링하여 개선된 다중 모odal 특징 학습을 위한 특징 융합 메커니즘을 설계하기 위해.
• 3D 공간 정보를 유지하면서도 전용 VPF 레이어를 통해 효과적인 2D-3D 특징 상호작용을 가능하게 하는 융합 아키텍처를 개발하기 위해.

제안 방법

• 네트워크는 라이다 포인트 클라우드를 3D 격자로 볼륨화하고 3D 백본 네트워크를 사용해 특징을 추출한다.
• 동시에 RGB 이미지는 2D 백본 네트워크를 통해 픽셀 수준의 특징을 추출한다.
• 볼륨과 픽셀 특징의 기하학적 대응 관계를 모델링하고 학습된 파라미터를 사용하여 융합하는 새로운 볼륨-픽셀 융합(VPF) 레이어를 도입한다.
• VPF 레이어는 세 가지 구성 요소를 포함한다: 볼륨-픽셀 쌍 전용 파라미터를 생성하는 파라미터 특징 생성(PFG), 특징 중요도를 적응적으로 조정하는 파라미터 기반 가중치(PBW), 실제 융합을 수행하는 VPF 모듈.
• 융합은 이중 방향이며, 공간 해상도를 유지하고 특징 표현을 풍부하게 하기 위해 여러 개의 다운샘플링 단계에 적용된다.
• 학습 중에는 보조 2D 검출 헤드를 사용해 특징 학습을 향상시키지만, 추론 시에는 제거된다.

실험 결과

연구 질문

• RQ1 볼륨-픽셀 쌍 간의 기하학적 관계를 명시적으로 모델링하면 다중 모달 특징 융합의 성능이 향상되는가?
• RQ2 볼륨-픽셀 쌍에 대해 작업에 특화된 파라미터를 학습시키면 기존 융합 메커니즘보다 더 나은 특징 표현을 얻을 수 있는가?
• RQ3 VPF 레이어를 네트워크의 다양한 깊이에 배치할 경우 검출 성능에 어떤 영향을 미치는가?
• RQ4 융합 기반 3D 검출기의 성능이 특히 소형이거나 감지하기 어려운 클래스(예: 보행자)에서 최고 수준의 라이다 전용 방법을 능가할 수 있는가?

주요 결과

• VPFNet은 KITTI 3D 검출 벤치마크에서 다중 수준 난이도 조건에서 평균 평균 정확도(mAP) 75.87%를 기록하여 모든 최고 수준의 기존 방법들을 능가했다.
• 공식 KITTI 랭킹에서 보행자 클래스에 대해 1위를 차지했으며, 중간 난이도 조건에서 64.48%의 mAP을 기록했다.
• 절단 분석 결과, PFG, PBW, VPF 모듈를 모두 포함한 완전한 VPF 레이어가 가장 높은 mAP를 기록했으며, 융합 없이 기반 모델 대비 2.62% 향상된 성능을 보였다.
• 두 번째 다운샘플링 단계에 VPF 레이어를 삽입할 경우 가장 우수한 성능을 기록했으며, mAP 76.68%를 기록했고, 첫 번째 단계에 삽입했을 경우 75.87%에 그쳤다.
• 절단 분석 결과, PFG 및 PBW 모듈가 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 하락했고, 특히 보행자 검출에서 두드러진 성능 저하가 관찰되었다.
• 시각화 결과는 VPFNet이 높은 정확도로 복잡한 환경에서 자동차, 보행자, 자전거를 동시에 감지하는 데 성공했다.