[논문 리뷰] SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving

Eren Erdal Aksoy, Saimir Baci외 1명|arXiv (Cornell University)|2019. 09. 18.

Remote Sensing and LiDAR Applications인용 수 19

한 줄 요약

SalsaNet은 3D LiDAR 포인트 클라우드의 의미적 세그멘테이션을 위한 빠르고 실시간 동작하는 딥 인코더-디코더 네트워크로, 효율적인 2차원 컨볼루션 처리를 위해 데이터를 베이비스 아이뷰(Bird's Eye View, BEV)로 투영한다. 이는 KITTI 데이터셋에서 자동 레이블링된 LiDAR 데이터를 사용하여 도로 및 차량 세그멘테이션에서 최신 기술 수준의 정확도를 달성하면서도, 투영에 관계없이 성능을 발휘하여 이전 방법들보다 속도와 IoU 점수에서 뛰어나다.

ABSTRACT

In this paper, we introduce a deep encoder-decoder network, named SalsaNet, for efficient semantic segmentation of 3D LiDAR point clouds. SalsaNet segments the road, i.e. drivable free-space, and vehicles in the scene by employing the Bird-Eye-View (BEV) image projection of the point cloud. To overcome the lack of annotated point cloud data, in particular for the road segments, we introduce an auto-labeling process which transfers automatically generated labels from the camera to LiDAR. We also explore the role of imagelike projection of LiDAR data in semantic segmentation by comparing BEV with spherical-front-view projection and show that SalsaNet is projection-agnostic. We perform quantitative and qualitative evaluations on the KITTI dataset, which demonstrate that the proposed SalsaNet outperforms other state-of-the-art semantic segmentation networks in terms of accuracy and computation time. Our code and data are publicly available at https://gitlab.com/aksoyeren/salsanet.git.

연구 동기 및 목표

• 자율 주행 환경에서 3D LiDAR 포인트 클라우드의 빠르고 정확하며 실시간 동작하는 의미적 세그멘테이션 네트워크를 개발하기 위해.
• 특히 도로 세그먼트에 대한 레이블이 부족한 문제를 해결하기 위해, 카메라에서 LiDAR로의 다중 센서 자동 레이블링 파이프라인을 도입하기 위해.
• 의미적 세그멘테이션 성능에 미치는 다양한 LiDAR 포인트 클라우드 투영 방식(BEV 대비 SFV)의 영향을 평가하고 비교하기 위해.
• 다양한 투영 형식에 대해 강건하고 높은 정확도와 추론 속도를 유지하는 모델을 설계하기 위해.
• 미래 연구를 지원하기 위해 코드와 대규모 자동 레이블링된 LiDAR 데이터셋을 공개하기 위해.

제안 방법

• SalsaNet은 인코더에 잔차 블록을 사용하고 디코더에서 조기 및 후기 레이어의 특징을 피치블 연결하여 융합하는 인코더-디코더 아키텍처를 채택한다.
• SalsaNet의 입력은 각 채널이 통계적 특징(예: 깊이, 강도, 거리, 점유 마스크 등)을 인코딩하는 BEV 투영된 LiDAR 포인트 클라우드이다.
• 2차원 격자 공간에서 효과적인 특징 학습을 가능하게 하기 위해 공간적 및 강도 정보를 유지하는 다중 채널 입력 표현 방식을 사용한다.
• 센서 캘리브레이션을 활용하여 카메라 이미지의 의미적 레이블(도로 및 차량)을 LiDAR 포인트 클라우드로 이동시키는 자동 레이블링 파이프라인을 구현하여 약 11,000개의 추가 레이블링 샘플을 생성한다.
• 모델은 KITTI 데이터셋에서 훈련 및 평가되며, 손실 가중치 및 채널 기여도에 대한 분석 연구가 함께 수행된다.
• 투영 강인성 평가를 위해 BEV와 구면 전면 시각(Spherical-Front-View, SFV) 투영 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 LiDAR 포인트 클라우드 투영 방식(비교: BEV 대비 SFV)의 선택이 의미적 세그멘테이션 정확도와 속도에 어떤 영향을 미치는가?
• RQ2 딥 러닝 모델이 실시간 추론를 유지하면서도 LiDAR 기반 도로 및 차량 세그멘테이션에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 카메라 데이터에서의 자동 레이블링이 레이블이 부족한 LiDAR 데이터 문제를 어느 정도 완화할 수 있는가?
• RQ4 제안된 네트워크 아키텍처가 다양한 입력 투영 형식에 대해 강건하여 투영에 관계없이 성능을 유지하는가?
• RQ5 개별 입력 채널(x, y, z, 강도, 거리, 마스크 등)이 세그멘테이션 성능에 미치는 영향은 어떠한가?

주요 결과

• SalsaNet은 BEV 투영을 사용하여 KITTI 데이터셋에서 평균 교차율(IoU) 79.71%를 달성하며, 이는 이전 최신 기술 수준의 방법들을 능가한다.
• Tesla V100 GPU에서 SalsaNet은 160 Hz의 추론 속도를 기록하여 일반적인 LiDAR 센서의 10 Hz 샘플링 레이트보다 훨씬 빠르다.
• SalsaNet은 투영에 관계없는 성능을 보이며, BEV와 SFV 투영 모두에서 높은 정확도를 유지한다. 반면 다른 모델들은 BEV 투영에서 성능 저하를 보인다.
• SFV 투영은 중복 정보를 도입하여 성능을 저하시키며, 예를 들어 마스크 채널을 추가하면 IoU가 4.5% 향상되지만, x 및 y 좌표는 각각 0.04%와 0.34%의 정확도 저하를 초래한다.
• 분석 연구 결과 손실 가중치가 IoU에 큰 영향을 미치며, 가중치 없이 학습할 경우 평균 IoU가 2.3% 감소한다.
• 자신 레이블링 파이프라인이 성공적으로 약 11,000개의 추가 레이블링된 LiDAR 샘플을 생성하여 수동 레이블링 없이도 강력한 훈련을 가능하게 하였다.