[논문 리뷰] VolMap: A Real-time Model for Semantic Segmentation of a LiDAR surrounding view

Hager Radi, Waleed Ali|arXiv (Cornell University)|2019. 06. 12.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 10

한 줄 요약

VolMap는 360° LiDAR 포인트 클라우드에서 정합성 분할을 수행하기 위해 LiDAR 높이 층을 입력 채널로 사용하는 실시간 2D 컨volution 신경망을 제안한다. CPU에서 25.7ms의 추론 시간을 기록하며, PointNet++(500ms)과 SqueezeSeg-Mod(45.5ms)를 뛰어넘는 속도를 확보하면서 KITTI 벤치마크에서 대부분의 클래스에서 평균 IoU를 향상시킨다.

ABSTRACT

This paper introduces VolMap, a real-time approach for the semantic segmentation of a 3D LiDAR surrounding view system in autonomous vehicles. We designed an optimized deep convolution neural network that can accurately segment the point cloud produced by a 360\degree{} LiDAR setup, where the input consists of a volumetric bird-eye view with LiDAR height layers used as input channels. We further investigated the usage of multi-LiDAR setup and its effect on the performance of the semantic segmentation task. Our evaluations are carried out on a large scale 3D object detection benchmark containing a LiDAR cocoon setup, along with KITTI dataset, where the per-point segmentation labels are derived from 3D bounding boxes. We show that VolMap achieved an excellent balance between high accuracy and real-time running on CPU.

연구 동기 및 목표

• 자율주행 차량 인식을 위한 CPU에서 360° LiDAR 포인트 클라우드의 실시간 정합성 분할을 가능하게 하기 위해.
• LiDAR 높이 층을 입력 채널로 활용하여 3D 정합성 분할의 정확도와 효율성을 향상시키기 위해.
• 다중 LiDAR 설정이 장면 이해 및 분할 성능에 미치는 영향을 평가하기 위해.
• 비용이 많이 들지 않는 3D 컨볼루션을 피하면서도 높은 공간적 및 의미적 정밀도를 유지하는 경량형이고 확장 가능한 모델을 개발하기 위해.

제안 방법

• 입력은 360° LiDAR 데이터에서 유도된 10개의 높이 층을 포함하는 볼륨형 베이드의이뷰 표현이며, 각 층은 포인트 클라우드의 0.4m 수직 슬라이스를 나타낸다.
• 모델은 범위와 강도를 입력 채널로 사용하는 수정된 SqueezeSeg 아키텍처를 사용하며, 효율성을 위해 깊이 분리형 컨볼루션을 통해 2D 특징 맵을 처리한다.
• 네트워크는 3D 경계 상자 애너테이션을 사용하여 KITTI 및 SCALA 벤치마크에서 엔드 투 엔드로 훈련되어 각 포인트에 대한 정합성 레이블을 생성한다.
• 다중 LiDAR 설정은 여러 센서의 포인트 클라우드를 결합하여 시뮬레이션되며, 각 센서의 반사 영역은 색상으로 구분되어 공간적 맥락을 유지한다.
• 모델은 3D 컨볼루션을 피하고 3D 데이터의 2D 투영에 기반해 계산을 줄임으로써 CPU에서의 추론 최적화를 위해 설계되었다.
• 제거 분석은 단일 전면 장착 LiDAR에서부터 전체 360° 둘레 시야 설정에 이르기까지 다양한 센서 구성에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 LiDAR 높이 층을 기반으로 하는 2D CNN이 CPU에서 360° LiDAR 포인트 클라우드의 실시간 정합성 분할을 달성할 수 있는가?
• RQ2 360° 구성에서 다중 LiDAR 센서를 사용할 경우 단일 센서 설정 대비 정합성 분할 정확도에 어떤 영향을 미치는가?
• RQ3 3D 데이터의 2D 투영을 사용할 때와 3D 볼륨 네트워크를 사용할 때 추론 속도와 분할 정확도 사이의 상충 관계는 어떠한가?
• RQ4 표준 2D 투영(예: 범위 및 강도)에 비해 높이 층을 입력 채널로 사용할 경우 특징 표현이 얼마나 향상되는가?
• RQ5 경량형 2D 모델이 3D CNN 및 PointNet++에 비해 3D 정합성 분할에서 속도와 정확도 양면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• VolMap는 CPU에서 25.7ms의 추론 시간을 기록하여 PointNet++(500ms)의 20배 빠르고 SqueezeSeg-Mod(45.5ms)보다 50% 더 빠르게 작동한다.
• KITTI 벤치마크에서 차량에 대해 VolMap은 평균 IoU 79.71%를 달성하여 SqueezeSeg-Mod(84.0%)와 PointNet++(64.3%)를 모두 초월한다.
• 보행자에 대해 VolMap은 IoU 33.62%를 기록하여 PointNet++(15.33%)보다 12.3% 향상되었고, SqueezeSeg-Mod(26.0%)보다 7.6% 향상되었다.
• 360° 다중 LiDAR 설정은 차량 분할 IoU를 85.37%로 향상시키고 트럭 IoU를 64.9%로 끌어올려 단일 센서 설정보다 뚜렷하게 뛰어난 성능을 보였다.
• 제거 분석을 통해 더 많은 LiDAR 센서를 추가할수록 포인트 클라우드의 밀도와 기하학적 완전성이 향상되어 장면 이해 및 분할 정확도가 향상됨을 확인했다.
• VolMap은 구형 투영 기반 SqueezeSeg-Mod 대비 60%의 클래스에서 뛰어난 성능을 보였으며, 동시에 50% 더 빠르게 작동했다.