[논문 리뷰] KPRNet: Improving projection-based LiDAR semantic segmentation

Deyvid Kochanov, Fatemeh Karimi Nejadasl외 1명|arXiv (Cornell University)|2020. 07. 24.

Robotics and Sensor-Based Localization참고 문헌 14인용 수 61

한 줄 요약

KPRNet은 2D 투영 기반 CNN과 학습 가능한 3D KPConv 모듈을 결합하여 후처리를 대체하고, SemanticKITTI에서 최첨단 mIoU(63.1)를 달성합니다.

ABSTRACT

Semantic segmentation is an important component in the perception systems of autonomous vehicles. In this work, we adopt recent advances in both image and point cloud segmentation to achieve a better accuracy in the task of segmenting LiDAR scans. KPRNet improves the convolutional neural network architecture of 2D projection methods and utilizes KPConv to replace the commonly used post-processing techniques with a learnable point-wise component which allows us to obtain more accurate 3D labels. With these improvements our model outperforms the current best method on the SemanticKITTI benchmark, reaching an mIoU of 63.1.

연구 동기 및 목표

• 도시 데이터세트에서 사전 학습된 강력한 2D projection-based CNN을 활용하여 LiDAR 의미 분할을 개선합니다.
• 레이블 정제를 위한 학습 가능한 3D KPConv 모듈을 도입하여 수동으로 설계된 후처리를 제거합니다.
• 투영된 2D 특징에서 3D 포인트 레이블로 엔드-투-엔드 학습으로 더 높은 3D 라벨링 정확도 달성합니다.
• 기존의 2D 및 포인트 기반 접근법과 비교하여 SemanticKITTI 벤치마크에서 최첨단 성능 시연합니다.

제안 방법

• Cityscapes에서 사전 학습된 ResNeXt-101 인코더와 Panoptic-DeepLab 유사 디코더를 가진 2D 의미 분할 네트워크를 사용합니다.
• LiDAR 스캔을 2D 거리 이미지로 투영하고 CNN 특징을 추출한 다음 3D 포인트로 역투영합니다.
• 최종 분류 전에 포인트 레이블을 정제하기 위해 KPConv 기반 3D 모듈을 부착합니다.
• 2D CNN과 3D KPConv를 엔드 투 엔드 학습 가능한 파이프라인으로 통합합니다.
• SGD, 코사인 학습률 스케줄, 표준 데이터 증강으로 학습; SemanticKITTI에서 평가합니다.

실험 결과

연구 질문

• RQ1 강화된 2D 프로젝션 기반 CNN이 학습 가능한 3D 구성요소와 결합될 때 LiDAR 의미 분할 성능을 향상시킬 수 있을까?
• RQ2 전통적인 후처리(CRF, KNN 등)를 KPConv 계층으로 대체하면 더 정확한 3D 라벨을 얻을 수 있을까?
• RQ3 제안된 KPRNet이 mean IoU 측면에서 SemanticKITTI에서 최첨단 방법들과 비교하여 어떤가?

주요 결과

• SemanticKITTI에서 KPRNet은 mean IoU 63.1을 달성하여 이전에 최고였던 2D 방법 SalsaNext보다 3.6 mIoU, 그리고 최고 KPConv 기반 방법보다 4.3 mIoU 앞섰습니다.
• 후처리 대신 KPConv 계층을 사용하면 기본 2D+KNN 접근 방식 대비 명확한 정확도 향상을 제공합니다.
• 모델은 ASPP가 있는 ResNeXt-101 특징과 3D KPConv 정제를 활용해 포인트 단위 레이블링을 개선합니다.
• 엔드 투 엔드 학습 가능성은 2D 투영이 3D 공간에서 효과적으로 정제되도록 합니다.
• 여러 동시대 방법들(RangeNet++, RandLa-Net, SqueezeSegV3 등)과 비교해 KPRNet은 클래스별 성능 및 전체 mIoU에서 경쟁력 있거나 우월한 결과를 얻습니다.