[논문 리뷰] SegVoxelNet: Exploring Semantic Context and Depth-aware Features for 3D Vehicle Detection from Point Cloud

Hongwei Yi, Shaoshuai Shi외 7명|arXiv (Cornell University)|2020. 02. 13.

Advanced Neural Network Applications참고 문헌 38인용 수 18

한 줄 요약

SegVoxelNet는 자유로운 베이비즈뷰(BEV) 세그멘테이션 마스크를 활용하여 의미적 맥락을 향상시키고, 깊이에 민감한 헤드를 통해 다양한 깊이에서의 포인트 클라우드 분포 변화를 모델링하는 통합형 엔드 투 엔드 훈련 가능한 3D 차량 검출 프레임워크를 제안한다. 이 방법은 실시간 추론 속도를 구현하면서 KITTI 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성한다.

ABSTRACT

3D vehicle detection based on point cloud is a challenging task in real-world applications such as autonomous driving. Despite significant progress has been made, we observe two aspects to be further improved. First, the semantic context information in LiDAR is seldom explored in previous works, which may help identify ambiguous vehicles. Second, the distribution of point cloud on vehicles varies continuously with increasing depths, which may not be well modeled by a single model. In this work, we propose a unified model SegVoxelNet to address the above two problems. A semantic context encoder is proposed to leverage the free-of-charge semantic segmentation masks in the bird's eye view. Suspicious regions could be highlighted while noisy regions are suppressed by this module. To better deal with vehicles at different depths, a novel depth-aware head is designed to explicitly model the distribution differences and each part of the depth-aware head is made to focus on its own target detection range. Extensive experiments on the KITTI dataset show that the proposed method outperforms the state-of-the-art alternatives in both accuracy and efficiency with point cloud as input only.

연구 동기 및 목표

• 자유로운 BEV 세그멘테이션 마스크에서 유도된 의미적 맥락을 통합하여 혼잡한 환경에서 모호한 차량을 탐지하는 데 도전하는 것.
• 3D 공간에서 포인트 클라우드의 비균일한 분포를 모델링하여 다양한 깊이에서의 검출 성능을 향상시키는 것.
• 카메라 데이터에 의존하지 않고 의미적 가이던스와 깊이 특화 특징 학습을 통합하는 효율적인 통합 네트워크를 설계하는 것.
• 오직 LiDAR 포인트 클라우드 입력만을 사용하여 최신 기술 수준의 정확도와 실시간 추론 속도를 달성하는 것.

제안 방법

• 의미적 맥락 인코더(SCE)는 학습 가능한 재가중 메커니즘을 통해 무료로 제공되는 BEV 의미 세그멘테이션 마스크와 검출 특징을 융합한다.
• SCE는 주의 기반 특징 조절을 통해 차량 영역을 강조하고 배경 노이즈를 억제함으로써 특징 맵을 향상시킨다.
• 깊이에 민감한 헤드는 다양한 커널 크기와 확장 비율을 가진 컨볼루션 레이어를 활용해 특정 깊이 범위에 맞게 설계된 다중 병렬 브랜치로 구성되어 있다.
• 깊이에 민감한 헤드는 BEV 특징 맵을 겹치는 영역으로 나누어 계산의 중복을 줄이면서도 깊이 수준 전반에서 검출 민감도를 유지한다.
• 전체 네트워크는 완전히 컨볼루션 기반이며 엔드 투 엔드 훈련 가능하며, 볼륨화와 3D 컨볼루션 연산을 통한 특징 인코딩이 이루어진다.
• CPU에서의 효율적 NMS와 최적화된 순방향 전파를 통해 추론 속도가 향상되어 프레임당 총 39.9ms의 런타임을 기록한다.

실험 결과

연구 질문

• RQ1 자유로운 BEV 세그멘테이션 마스크가 맥락적 가이던스를 제공함으로써 3D 차량 검출을 향상시킬 수 있는가?
• RQ2 한 번의 모델로 다양한 깊이에서 차량의 포인트 클라우드 밀도 분포의 변화를 효과적으로 다룰 수 있는가?
• RQ3 다양한 전용 브랜치를 갖춘 깊이에 민감한 헤드가 근거리, 중거리, 원거리에서의 검출 성능 향상에 기여하는가?
• RQ4 의미적 맥락과 깊이에 민감한 특징을 통합하면 일반화 능력 향상과 거짓 긍정 감소에 기여하는가?

주요 결과

• SegVoxelNet는 KITTI 검증 세트에서 어려움 수준이 '쉬움'인 경우 평균 정밀도(AP) 89.35%를 달성하여 이전 SoTA 방법인 PointRCNN을 0.47% 초월한다.
• 중간 어려움 수준의 AP는 79.05%로 향상되었고, 어려운 수준의 AP는 77.41%로, 모든 LiDAR 전용 기반 모델을 능가한다.
• 깊이에 민감한 헤드의 기여로 모든 어려움 수준에서 0.3–0.4 AP 향상이 이루어졌으며, 특히 중간 깊이 범위에서 +1.32 mAP 향상이 뚜렷했다.
• 의미적 맥락 인코더의 재가중 융합 방법은 특징 연결 대비 파라미터 수와 추론 시간을 줄였으며, 유사한 성능를 유지했다.
• 모델은 프레임당 39.9ms로 실행되어 실시간 추론 능력을 입증했으며, 자율 주행 시스템에 적합하다.
• 제거 실험 결과, 의미적 맥락 인코더와 깊이에 민감한 헤드 모두 필수적임을 확인하였으며, 후자는 모호한 영역에서의 거짓 긍정 수를 줄이고, 중간~원거리 영역에서의 검출 성능 향상에 기여했다.