[논문 리뷰] Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds

Li Yi, Boqing Gong외 1명|arXiv (Cornell University)|2020. 07. 16.

3D Shape Modeling and Analysis참고 문헌 68인용 수 21

한 줄 요약

이 논문은 먼저 희소 3차원 점군을 밀도 높은 표면으로 보완하는 희소 볼록 보완 네트워크(Sparse Voxel Completion Network, SVCN)를 사용하여 LiDAR 세분화에 대한 도메인 적응 방법을 제안한다. 그 후 보완된 표면에 대해 세분화 레이블을 적용한다. Waymo와 nuScenes 데이터셋 간의 이동에서 기존 최고 수준의 도메인 적응 방법보다 6.0–10.4%의 절대 mIoU 향상을 달성한다.

ABSTRACT

We study an unsupervised domain adaptation problem for the semantic labeling of 3D point clouds, with a particular focus on domain discrepancies induced by different LiDAR sensors. Based on the observation that sparse 3D point clouds are sampled from 3D surfaces, we take a Complete and Label approach to recover the underlying surfaces before passing them to a segmentation network. Specifically, we design a Sparse Voxel Completion Network (SVCN) to complete the 3D surfaces of a sparse point cloud. Unlike semantic labels, to obtain training pairs for SVCN requires no manual labeling. We also introduce local adversarial learning to model the surface prior. The recovered 3D surfaces serve as a canonical domain, from which semantic labels can transfer across different LiDAR sensors. Experiments and ablation studies with our new benchmark for cross-domain semantic labeling of LiDAR data show that the proposed approach provides 8.2-36.6% better performance than previous domain adaptation methods.

연구 동기 및 목표

• 다양한 데이터셋 간 LiDAR 센서 샘플링 패턴의 차이로 인해 발생하는 LiDAR 세분화의 도메인 갭을 해결한다.
• 다른 LiDAR 구성 간 전이 학습을 가능하게 하여 3차원 점군 수동 레이블링의 높은 비용을 완화한다.
• 3차원 표면의 기하학적 사전 지식을 활용하여 보완에 대한 레이블이 필요 없이 도메인 적응 성능을 향상시킨다.
• 단일 표면 보완 모델을 훈련시켜 알려지지 않은 LiDAR 센서 구성에 일반화할 수 있도록 한다.
• 수동 레이블링을 피하면서도 기하학적 정확성을 유지하는 자기지도 학습 기반 표면 보완 프레임워크를 개발한다.

제안 방법

• 다중 프레임 재구성에서 학습하여 희소 LiDAR 점군에서 완전한 3차원 표면을 재구성하는 희소 볼록 보완 네트워크(SVCN)를 사용한다.
• 완전한 표면을 다중 LiDAR 스위프트에서 재구성한 자기지도 학습 보조를 사용하여 수동 레이블링이 필요 없도록 SVCN을 훈련시킨다.
• 특히 가림되거나 희소한 영역에서 품질을 향상시키기 위해 국소 적대적 학습을 도입하여 표면 사전 지식을 모델링한다.
• 완성된 3차원 표면에서 세분화를 수행하기 위해 희소 컨볼루션 U-Net을 적용하여 센서에 의존하지 않는 레이블링을 가능하게 한다.
• 다양한 LiDAR 빔 패턴을 시뮬레이션하기 위해 훈련 중에 균일하게 극좌표 영역을 무작위로 샘플링하여 데이터 증강을 구현한다. 이는 도메인 일반화 능력을 향상시킨다.
• 보완 품질 평가에는 표면 보완 IoU와 캄페르 거리(CD)를, 세분화 성능 평가에는 mIoU를 사용한다.

실험 결과

연구 질문

• RQ1 다른 LiDAR 센서 샘플링 패턴으로 인한 도메인 이동을 효과적으로 줄이기 위해 3차원 표면 보완이 유용한가?
• RQ2 수동으로 설계된 샘플링 정렬 방법에 비해 자기지도 학습 기반 표면 보완 학습 방식은 교차 도메인 LiDAR 세분화에서 어떤 성능을 보이는가?
• RQ3 목표 도메인에서의 미세조정 없이도 단일 표면 보완 네트워크가 여러 알려지지 않은 LiDAR 센서 구성에 얼마나 잘 일반화되는가?
• RQ4 국소 적대적 학습을 통합함으로써 3차원 표면 보완 품질과 그에 따른 후속 세분화 성능이 향상되는가?
• RQ5 기존의 도메인 적응 및 데이터 증강 기반 방법에 비해 제안된 '완성 및 레이블링' 접근 방식은 교차 데이터셋 LiDAR 세분화에서 어떤 성능 향상을 달성하는가?

주요 결과

• Waymo에서 nuScenes로의 이동에서, 제안된 방법은 기존 최고 수준의 도메인 적응 방법보다 절대 mIoU 6.0% 향상된다.
• nuScenes에서 Waymo로의 이동에서는 10.4% 절대 mIoU 향상이 달성되어 강력한 교차 도메인 일반화 능력을 보여준다.
• 수작업 샘플링 정렬 기반 방법(B1 및 B2)보다 4.2–5.6% mIoU 높은 성능을 기록하여, 보간 또는 재샘플링 방식에 비해 기반 학습 보완의 우수성을 입증한다.
• 도메인 일반화 설정에서, Waymo 데이터만으로 훈련된 일반화 SVCN은 nuScenes-lidarseg에서 49.8% mIoU, SemanticKITTI에서 59.6% mIoU를 기록하여, 미세조정 없이도 기준 모델보다 7% 이상 높은 성능을 달성한다.
• CD 및 IoU로 측정한 표면 보완 품질은 세분화 성능과 상관관계가 있다: 일반화 모델은 nuScenes에서 25.7% IoU와 1.800m CD를 기록하여 도메인 적응 모델에 비해 略로 낮지만 여전히 매우 효과적이다.
• 제거 실험 결과, 국소 적대적 학습과 다중 프레임 재구성의 사용이 표면 보완 및 세분화 정확도를 크게 향상시킨다는 것이 확인되었다.