[논문 리뷰] PointSeg: Real-Time Semantic Segmentation Based on 3D LiDAR Point Cloud

Yuan Wang, Tianyue Shi외 3명|arXiv (Cornell University)|2018. 07. 17.

Remote Sensing and LiDAR Applications참고 문헌 25인용 수 105

한 줄 요약

PointSeg는 3D LiDAR 포인트 클라우드를 조밀한 구형 이미지로 변환하고, SE(Squeeze-and-Excitation) 영감의 재가중 및 확장된 다중 스케일 특성을 활용한 경량 SqueezeNet 기반 네트워크를 사용하여 단일 GPU에서 도로 객체의 실시간 의미 분할을 달성합니다.

ABSTRACT

In this paper, we propose PointSeg, a real-time end-to-end semantic segmentation method for road-objects based on spherical images. We take the spherical image, which is transformed from the 3D LiDAR point clouds, as input of the convolutional neural networks (CNNs) to predict the point-wise semantic map. To make PointSeg applicable on a mobile system, we build the model based on the light-weight network, SqueezeNet, with several improvements. It maintains a good balance between memory cost and prediction performance. Our model is trained on spherical images and label masks projected from the KITTI 3D object detection dataset. Experiments show that PointSeg can achieve competitive accuracy with 90fps on a single GPU 1080ti. which makes it quite compatible for autonomous driving applications.

연구 동기 및 목표

• LiDAR 데이터를 이용한 도로 객체의 실시간 3D 의미 분할 동기 부여
• 임베디드 및 온보드 시스템에 적합한 SqueezeNet 기반의 경량하고 정확한 네트워크 개발
• 희박한 3D 포인트 클라우드를 CNN 처리용 조밀한 2D 표현으로 변환하기 위해 구면 투영 활용
• 주의(attention) 유사 채널 재가중 및 다중 스케일 컨텍스트를 도입해 분할 정확도 향상

제안 방법

• 방위각(azimuth)과 천정 투영을 사용하여 LiDAR 포인트 클라우드를 조밀한 64x512x5 구면 이미지로 변환합니다.
• SqueezeNet 및 SqueezeSeg에서 영감을 얻은 경량 Fire 기반 백본 위에 PointSeg를 구축합니다.
• SE 블록과 유사한 채널 의존성을 모델링하기 위한 squeeze 재가중 계층을 도입합니다.
• 과도한 하위 샘플링 없이 다중 스케일 컨텍스트를 포착하기 위해 확장(다중 스케일 컨텍스트를 포착하기 위한) 계층을 사용합니다.
• 포인트 단위 분할 맵을 복원하기 위해 스킵 연결이 있는 역합성 기반 업샘플링 경로를 사용합니다.
• 후처리로 RANSAC(랜덤 샘플 합의) 알고리즘을 적용하여 역투영된 분할 결과를 정제합니다.

실험 결과

연구 질문

• RQ1 SqueezeNet 기반의 경량 CNN이 표준 GPU에서 실시간 3D LiDAR 의미 분할을 달성할 수 있는가?
• RQ2 3D LiDAR 포인트 클라우드를 구면 이미지로 변환하면 픽셀 단위의 의미 라벨이 효과적으로 부여되며 정확도가 경쟁력 있는가?
• RQ3 채널별 재가중 및 다중 스케일 확장을 통한 컨텍스트가 보행자와 같은 작은 객체를 포함한 도로 객체의 분할 성능을 향상시키는가?
• RQ4 PointSeg의 런타임 성능 및 일반적인 온보드 하드웨어(GTX 1080Ti, Jetson TX2)의 메모리 사용량은 어느 정도인가?

주요 결과

• PointSeg는 단일 GPU에서 정방향 패스 계산에 대해 실시간 성능인 약 90fps를 달성합니다.
• 권장된 다운샘플링 전략(세 번의 다운샘플링 단계)은 자동차를 손실 없이 보행자 및 자전거 이용자의 정확도를 향상시킵니다.
• 확장(dilated) 합성 레이어(비율 6, 9, 12)는 메모리 사용을 합리적으로 유지하면서 다중 스케일 컨텍스트를 제공합니다.
• Squeeze 재가중 계층(SR1–SR3)은 채널별 특성 강건성을 개선하고, 재가중-다운이 최적의 균형을 제공합니다.
• RANSAC 후처리는 역투영 분할 정확도를 향상시키며 기본 방법 대비 상당한 이득을 제공합니다.
• SqueezeSeg에 비해 PointSeg는 자동차 및 자전거 분할 IoU가 향상되었고 보행자에서도 경쟁력 있는 결과를 보이며, 1080Ti에서 프레임당 약 12ms, TX2에서 RANSAC를 포함한 PointSeg의 약 98ms 수준으로 실행됩니다(CRF 제외).