[논문 리뷰] PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network

Jaehyun Park, Chansoo Kim외 1명|arXiv (Cornell University)|2022. 02. 21.

Remote Sensing and LiDAR Applications인용 수 6

한 줄 요약

PCSCNet은 자율주행 차량을 위한 LiDAR 포인트 클라우드에 대한 빠르고 실시간 3D 세분화 모델로, 효율적인 특징 추출을 위한 포인트 컨볼루션과 빠른 특징 전파를 위한 3D 희소 컨볼루션을 활용한다. 낮은 범위의 바벨 해상도에서 SemanticKITTI와 nuScenes에서 최신 기술 수준의 성능을 달성하며, 이산화 오차를 보완하기 위해 교차 엔트로피 손실과 위치 인식 손실을 조합한 손실 함수를 사용하여 64.6%의 mIoU를 기록한다.

ABSTRACT

The autonomous car must recognize the driving environment quickly for safe driving. As the Light Detection And Range (LiDAR) sensor is widely used in the autonomous car, fast semantic segmentation of LiDAR point cloud, which is the point-wise classification of the point cloud within the sensor framerate, has attracted attention in recognition of the driving environment. Although the voxel and fusion-based semantic segmentation models are the state-of-the-art model in point cloud semantic segmentation recently, their real-time performance suffer from high computational load due to high voxel resolution. In this paper, we propose the fast voxel-based semantic segmentation model using Point Convolution and 3D Sparse Convolution (PCSCNet). The proposed model is designed to outperform at both high and low voxel resolution using point convolution-based feature extraction. Moreover, the proposed model accelerates the feature propagation using 3D sparse convolution after the feature extraction. The experimental results demonstrate that the proposed model outperforms the state-of-the-art real-time models in semantic segmentation of SemanticKITTI and nuScenes, and achieves the real-time performance in LiDAR point cloud inference.

연구 동기 및 목표

• 자율주행에서 높은 바벨 해상도에서의 바벨 기반 3D 세분화의 높은 계산 비용을 해결한다.
• 세분화 정확도를 희생시키지 않고 다양한 바벨 해상도에서 추론 속도와 내성 강도를 향상시킨다.
• 교차 엔트로피 손실과 위치 인식 손실을 조합한 새로운 손실 함수를 통해 큰 바벨에서 발생하는 이산화 오차를 줄인다.
• 표준 벤치마크(SemanticKITTI와 nuScenes)에서 실시간 성능을 달성하면서도 높은 mIoU를 유지한다.
• 32층 LiDAR 시스템에서 유래한 밀도와 희소한 LiDAR 포인트 클라우드 모두에서의 효과성을 입증한다.

제안 방법

• 계산 부담을 줄이기 위해 큰 바벨 크기(예: 0.3m)를 사용해 입력 LiDAR 포인트 클라우드를 바벨화한다.
• 각 바벨에서 강력한 포인트 단위 특징을 추출하기 위해 포인트 컨볼루션(PC)을 적용하여 PointNet보다 장거리 문맥 모델링을 향상시킨다.
• 이웃 바벨 간의 특징 전파를 효율적으로 수행하기 위해 3D 희소 컨볼루션(3D-SC)을 사용하여 최소한의 계산으로 수용 영역을 확장한다.
• 교차 엔트로피 손실과 위치 인식(PA) 손실을 조합한 하이브리드 손실 함수를 사용하여 경계 세분화를 향상시키고 이산화 오차를 줄인다.
• 포인트 컨볼루션과 희소 컨볼루션의 최종 융합된 특징을 기반으로 포인트 단위 분류를 수행하여 각 포인트의 의미적 레이블링을 가능하게 한다.
• 성능 평가를 위해 mIoU와 정성적 시각화를 사용하여 SemanticKITTI와 nuScenes 데이터셋에서 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 바벨 기반 세분화 모델은 낮은 바벨 해상도에서도 높은 정확도를 유지하면서 실시간 추론을 달성할 수 있는가?
• RQ2 큰 바벨 크기에서 희소한 LiDAR 포인트 클라우드에 대해 포인트 컨볼루션은 PointNet에 비해 특징 추출에서 어떻게 더 우수한가?
• RQ3 3D 희소 컨볼루션은 세분화 품질을 떨어뜨리지 않고 특징 전파를 얼마나 가속화하는가?
• RQ4 교차 엔트로피 손실과 위치 인식 손실의 조합은 경계 세분화를 향상시키고 이산화 아티팩트를 줄이는 데 얼마나 기여하는가?
• RQ5 PCSCNet은 최신 기술 수준의 실시간 모델에 비해 밀도 있는(SemanticKITTI) 및 희소한(nuScenes) LiDAR 포인트 클라우드에서 어떻게 성능을 발휘하는가?

주요 결과

• PCSCNet은 0.05m 바벨 해상도에서 SemanticKITTI에서 64.8%의 mIoU를 기록하여 포인트-바벨 융합 모델보다 0.4% 높은 성능을 달성한다.
• 0.1m 바벨 해상도에서 PCSCNet은 64.6%의 mIoU를 유지하지만, 포인트-바벨 융합 모델은 63.6%로 떨어지며, 이는 훨씬 더 뛰어난 내성 강도를 보여준다.
• 바벨 크기가 0.05m에서 0.1m로 증가할 때 모델의 mIoU가 단지 0.2% 감소하여 해상도 변화에 매우 강건함을 시사한다.
• 교차 엔트로피 손실과 PA 손실을 조합한 손실 함수는 교차 엔트로피 손실만을 사용할 때보다 mIoU를 0.8% 향상시켜 63.8%에서 64.6%로 개선했다.
• 정성적 결과에서는 PA 손실이 특히 보도와 식생과 같은 클래스 간 경계 세분화를 크게 향상시킨다.
• PCSCNet은 SemanticKITTI와 nuScenes에서 최신 기술 수준의 성능을 달성하며, 32층 센서에서 유래한 희소한 LiDAR 데이터에서도 효과성을 입증했다.