[논문 리뷰] Sparse Single Sweep LiDAR Point Cloud Segmentation via Learning Contextual Shape Priors from Scene Completion

Yan Xu, Jiantao Gao외 5명|arXiv (Cornell University)|2020. 12. 07.

3D Shape Modeling and Analysis참고 문헌 43인용 수 18

한 줄 요약

이 논문은 종단간(end-to-end) 훈련을 통해 의미적 환경 복원(SSC)에서 학습한 문맥적 형태 사전 지식을 활용하여 희소 단일 스위프트 LiDAR 포인트 클라우드의 의미적 분할을 위한 새로운 프레임워크인 JS3C-Net을 제안한다. 포인트-바이얼 상호작용(PVI) 모듈을 통해 의미적 분할(SS)과 SSC를 함께 훈련시킴으로써 특징 융합을 향상시키고, 최신 기술 수준(SOTA)의 성능을 달성하며, SemanticKITTI에서 mIoU를 4% 향상시키고, SemanticPOSS에서 3% 향상시킨다.

ABSTRACT

LiDAR point cloud analysis is a core task for 3D computer vision, especially for autonomous driving. However, due to the severe sparsity and noise interference in the single sweep LiDAR point cloud, the accurate semantic segmentation is non-trivial to achieve. In this paper, we propose a novel sparse LiDAR point cloud semantic segmentation framework assisted by learned contextual shape priors. In practice, an initial semantic segmentation (SS) of a single sweep point cloud can be achieved by any appealing network and then flows into the semantic scene completion (SSC) module as the input. By merging multiple frames in the LiDAR sequence as supervision, the optimized SSC module has learned the contextual shape priors from sequential LiDAR data, completing the sparse single sweep point cloud to the dense one. Thus, it inherently improves SS optimization through fully end-to-end training. Besides, a Point-Voxel Interaction (PVI) module is proposed to further enhance the knowledge fusion between SS and SSC tasks, i.e., promoting the interaction of incomplete local geometry of point cloud and complete voxel-wise global structure. Furthermore, the auxiliary SSC and PVI modules can be discarded during inference without extra burden for SS. Extensive experiments confirm that our JS3C-Net achieves superior performance on both SemanticKITTI and SemanticPOSS benchmarks, i.e., 4% and 3% improvement correspondingly.

연구 동기 및 목표

• 자율주행 차량에서 흔히 발생하는 희소 단일 스위프트 LiDAR 포인트 클라우드에서 정확한 의미적 분할 문제를 해결한다.
• 기존 방법들이 역사적 프레임에만 의존해 고비용 계산을 유발하는 한계를 극복한다.
• 순차적 LiDAR 데이터를 활용해 불완전하고 희소한 포인트 클라우드의 분할 성능 향상을 위한 강력한 문맥적 형태 사전 지식을 학습한다.
• 보조 SSC 및 PVI 구성 요소를 추론 시 제거할 수 있는 경량이고 모듈식 프레임워크를 설계하여 실시간 효율성을 유지한다.
• 상호작용적 특징 융합을 통한 종단간 공동 훈련을 통해 의미적 분할과 환경 복원 간 상호 개선을 가능하게 한다.

제안 방법

• 희소 단일 스위프트 포인트 클라우드에 대해 초기 예측을 생성하기 위해 사전 훈련된 의미적 분할(SS) 백본을 사용한다.
• 연속 프레임을 병합한 데이터를 밀도 높은 지도로 사용하여 의미적 환경 복원-SSC 모듈을 훈련시켜 문맥적 형태 사전 지식을 학습한다.
• 포인트 수준의 국소 기하학적 특징과 바이얼 수준의 전반적 구조 간 이중 방향 지식 전이를 가능하게 하기 위해 포인트-바이얼 상호작용(PVI) 모듈을 도입한다.
• SS 및 SSC 작업의 최적화를 자동으로 균형 조절하기 위해 불확실성 다중작업 손실(UMTL)을 적용한다.
• SSC 및 PVI 모듈을 추론 시 제거할 수 있도록 캐스케이드 구조로 네트워크를 구성하여 SS 백본의 속도에 영향을 주지 않는다.
• 수동 애너테이션의 필요성을 제거하기 위해 대규모 비애너테이션 LiDAR 시퀀스를 활용해 SSC를 위한 밀도 높은 지도를 합성한다.

실험 결과

연구 질문

• RQ1 다중 프레임 환경 복원에서 학습한 문맥적 형태 사전 지식이 희소 단일 스위프트 LiDAR 포인트 클라우드의 의미적 분할 성능 향상에 기여하는가?
• RQ2 경량 종단간 공동 틀에서 의미적 분할과 환경 복원이 어떻게 상호 보완적으로 최적화될 수 있는가?
• RQ3 PVI 모듈이 국소 포인트 수준 기하학적 특징과 전반적 바이얼 수준 구조를 효과적으로 융합하여 특징 표현을 향상시키는가?
• RQ4 형태 사전 지식을 통한 공동 훈련이 희소 영역 및 자전거, 트럭과 같은 소형 물체에서의 성능 격차를 어느 정도 줄이는가?
• RQ5 보조 SSC 및 PVI 모듈을 추론 시 제거할 수 있는가? 이 경우 주 분류 헤드의 속도는 손상되지 않는가?

주요 결과

• JS3C-Net은 기존 최신 기술 수준 방법 대비 SemanticKITTI 벤치마크에서 mIoU를 4% 향상시켰다.
• SemanticPOSS 벤치마크에서 기존 접근 방식 대비 mIoU를 3% 향상시켜 뛰어난 일반화 능력을 입증했다.
• 제거 실험(ablation study) 결과, 공동 훈련(JL)이 SS mIoU를 63.1%에서 66.1%로, SC mIoU를 51.1%에서 55.0%로 향상시켰다.
• 불확실성 다중작업 손실(UMTL)을 통합하면 SS와 SC mIoU가 각각 0.4%와 1.1% 향상되어 손실 균형 조절이 더 우수함을 입증했다.
• PVI 모듈은 성능 향상에 크게 기여했으며, 전체 모델은 SS에서 67.5% mIoU, SC에서 57.0% mIoU를 기록하여 모든 제거 변형보다 뛰어난 성능을 보였다.
• JS3C-Net은 백본 모델과 동일한 추론 속도를 유지하며, PVI 모듈로 인한 지연만 107ms 증가하여 실시간 배포에 적합하다.