[论文解读] Transfer Learning from Synthetic to Real LiDAR Point Cloud for Semantic Segmentation

Aoran Xiao, Jiaxing Huang+3 more|arXiv (Cornell University)|Jul 12, 2021

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出了 SynLiDAR，一个大规模的合成 LiDAR 点云数据集，包含 across 32 个语义类别 的 190 亿个逐点标注点，并提出了 PCT，一种新颖的点云转换器，通过分别处理外观差异和稀疏性差异，有效缩小了合成数据与真实数据之间的域差距。PCT 在数据增强、半监督和无监督域自适应等多种设置下显著提升了语义分割性能，在 SemanticKITTI 和 SemanticPOSS 上取得了最先进结果。

ABSTRACT

Knowledge transfer from synthetic to real data has been widely studied to mitigate data annotation constraints in various computer vision tasks such as semantic segmentation. However, the study focused on 2D images and its counterpart in 3D point clouds segmentation lags far behind due to the lack of large-scale synthetic datasets and effective transfer methods. We address this issue by collecting SynLiDAR, a large-scale synthetic LiDAR dataset that contains point-wise annotated point clouds with accurate geometric shapes and comprehensive semantic classes. SynLiDAR was collected from multiple virtual environments with rich scenes and layouts which consists of over 19 billion points of 32 semantic classes. In addition, we design PCT, a novel point cloud translator that effectively mitigates the gap between synthetic and real point clouds. Specifically, we decompose the synthetic-to-real gap into an appearance component and a sparsity component and handle them separately which improves the point cloud translation greatly. We conducted extensive experiments over three transfer learning setups including data augmentation, semi-supervised domain adaptation and unsupervised domain adaptation. Extensive experiments show that SynLiDAR provides a high-quality data source for studying 3D transfer and the proposed PCT achieves superior point cloud translation consistently across the three setups. SynLiDAR project page: \url{https://github.com/xiaoaoran/SynLiDAR}

研究动机与目标

• 为解决 3D 语义分割中大规模、高精度标注的合成 LiDAR 点云数据稀缺的问题。
• 克服合成与真实 LiDAR 点云之间的域差距，该差距阻碍了 3D 场景理解中的有效迁移学习。
• 开发一种稳健且可泛化的点云转换方法，将合成点云转换为更匹配真实世界分布的外观和稀疏性特征。
• 在多种学习范式下评估从合成到真实世界迁移的有效性：数据增强、半监督和无监督域自适应。

提出的方法

• SynLiDAR 由多个使用先进 3D 建模工具构建的专业设计虚拟环境生成，确保了 32 个类别中几何精度和语义丰富性。
• PCT 将合成到真实世界的域差距分解为两个部分：由环境差异引起的外观差异，以及由传感器采样引起的稀疏性差异。
• 外观转换模块（ATM）对合成点云进行上采样，并利用学习到的风格迁移技术将其视觉外观与真实数据对齐。
• 稀疏性转换模块（STM）从真实点云中提取稀疏性特征，并将其与 ATM 输出融合，以模拟真实传感器的稀疏性模式。
• 该方法在输入空间中运行，在模型训练前对合成点云进行转换，从而与现有分割网络实现直接兼容。
• 在三种迁移学习设置下进行了广泛评估：数据增强、半监督域自适应（SSDA）和无监督域自适应（UDA）。

实验结果

研究问题

• RQ1 一个大规模、高质量的合成 LiDAR 点云数据集，若具备丰富的语义标注，能否有效提升真实世界点云的分割性能？
• RQ2 如何有效分解并缓解合成与真实 LiDAR 点云之间的域差距，以支持迁移学习？
• RQ3 在输入空间中分别处理外观和稀疏性差异的合成点云转换方法，是否能带来比现有特征空间或输出空间方法更好的泛化性能？
• RQ4 PCT 转换的合成数据在多大程度上能减少 3D 语义分割中对真实世界标注数据的需求？

主要发现

• 在数据增强设置中，使用 PCT 转换的 SynLiDAR 相较基线在 SemanticKITTI 上提升了 2.2% 的 mIoU，在 SemanticPOSS 上提升了 2.6%。
• 在半监督域自适应中，将 PCT 与 APE 结合后，mIoU 在 SemanticKITTI 上达到 27.0%，在 SemanticPOSS 上达到 31.2%，实现了新的最先进性能。
• 在无监督域自适应中，PCT 单独使用使 mIoU 在 SemanticKITTI 上提升了 3.5%，在 SemanticPOSS 上提升了 2.8%，与 ST 结合后进一步提升。
• PCT 转换的 SynLiDAR 在 SemanticPOSS 上将真实数据使用量减少了 40% 而不造成性能下降，展现出强大的数据效率。
• PCT 与最先进的无监督域自适应方法（如 ST）结合后，在 SemanticKITTI 上实现了 28.9% 的新最先进 mIoU，在 SemanticPOSS 上达到了 29.6%。
• SynLiDAR 的高几何保真度和丰富的语义多样性，使其成为 3D 点云分割中从合成到真实迁移的强大且可靠的源域。