[论文解读] Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds

Li Yi, Boqing Gong+1 more|arXiv (Cornell University)|Jul 16, 2020

3D Shape Modeling and Analysis参考文献 68被引用 21

一句话总结

本文提出了一种用于LiDAR语义分割的领域自适应方法，首先通过稀疏体素补全网络（SVCN）将稀疏3D点云补全为密集表面，然后在补全的表面上进行语义标注。当在Waymo和nuScenes数据集之间进行迁移时，该方法相较于最先进领域自适应方法实现了6.0–10.4个百分点的mIoU绝对提升。

ABSTRACT

We study an unsupervised domain adaptation problem for the semantic labeling of 3D point clouds, with a particular focus on domain discrepancies induced by different LiDAR sensors. Based on the observation that sparse 3D point clouds are sampled from 3D surfaces, we take a Complete and Label approach to recover the underlying surfaces before passing them to a segmentation network. Specifically, we design a Sparse Voxel Completion Network (SVCN) to complete the 3D surfaces of a sparse point cloud. Unlike semantic labels, to obtain training pairs for SVCN requires no manual labeling. We also introduce local adversarial learning to model the surface prior. The recovered 3D surfaces serve as a canonical domain, from which semantic labels can transfer across different LiDAR sensors. Experiments and ablation studies with our new benchmark for cross-domain semantic labeling of LiDAR data show that the proposed approach provides 8.2-36.6% better performance than previous domain adaptation methods.

研究动机与目标

• 解决由于不同数据集中LiDAR传感器采样模式差异导致的LiDAR语义分割领域差距问题。
• 通过在不同LiDAR配置间实现迁移学习，克服3D点云人工标注的高昂成本。
• 利用3D表面中的几何先验知识，在无需完成阶段标注数据的前提下，提升领域自适应性能。
• 通过训练单一表面补全模型使其泛化至未见的LiDAR传感器配置，实现领域泛化。
• 开发一种自监督表面补全框架，避免人工标注，同时在下游分割任务中保持几何保真度。

提出的方法

• 使用稀疏体素补全网络（SVCN）通过从多帧重建中学习，从稀疏LiDAR点云中重建完整的3D表面。
• 利用跨多帧LiDAR扫描重建的完整表面进行自监督监督来训练SVCN，避免对人工标注的依赖。
• 引入局部对抗学习以建模表面先验，提升补全质量，特别是在遮挡或稀疏区域。
• 在补全的3D表面上应用稀疏卷积U-Net进行语义分割，实现与传感器无关的标注。
• 通过随机采样极坐标桶来实现训练期间的数据增强，以模拟多样化的LiDAR光束模式，增强领域泛化能力。
• 使用表面补全IoU和Chamfer距离（CD）作为补全质量的评估指标，mIoU作为语义分割性能的评估指标。

实验结果

研究问题

• RQ1 3D表面补全能否有效缓解因不同LiDAR传感器采样模式导致的语义分割中的领域偏移？
• RQ2 与手工设计的采样对齐方法相比，基于自监督表面补全的学习方法在跨域LiDAR分割中的表现如何？
• RQ3 单一表面补全网络在无需目标域微调的情况下，对多个未见LiDAR传感器配置的泛化程度如何？
• RQ4 引入局部对抗学习是否能提升3D表面补全质量，并进而提升下游语义分割性能？
• RQ5 与现有领域自适应和数据增强基线相比，所提出的'补全并标注'方法在跨数据集LiDAR分割中的性能增益如何？

主要发现

• 当从Waymo迁移到nuScenes时，所提方法相较于最先进领域自适应方法实现了6.0%的mIoU绝对提升。
• 当从nuScenes迁移到Waymo时，方法实现了10.4%的mIoU绝对提升，表明其具备强大的跨域泛化能力。
• 与手工设计的采样对齐基线（B1和B2）相比，本方法在mIoU上高出4.2–5.6个百分点，表明基于学习的补全方法优于插值或重采样方法。
• 在领域泛化设置中，仅在Waymo数据上训练的通用SVCN模型在nuScenes-lidarseg上达到49.8% mIoU，在SemanticKITTI上达到59.6% mIoU，较无适应基线提升超过7%。
• 表面补全质量（以CD和IoU衡量）与分割性能相关：泛化模型在nuScenes上的IoU为25.7%，CD为1.800m，略低于领域自适应模型，但仍表现出高度有效性。
• 消融研究证实，局部对抗学习以及多帧重建的使用显著提升了表面补全和分割精度。