[论文解读] ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation

Sicheng Zhao, Yezhen Wang+6 more|arXiv (Cornell University)|Sep 7, 2020

Advanced Neural Network Applications参考文献 73被引用 8

一句话总结

ePointDA 是一种用于激光雷达点云分割的端到端模拟到真实域自适应框架，解决了像素级丢失噪声和特征级域偏移问题。它通过自监督的丢失噪声生成和统计不变、空间自适应的特征对齐，提升分割精度，且无需真实世界统计信息，已在 KITTI 和 SemanticKITTI 基准上达到最先进性能。

ABSTRACT

Due to its robust and precise distance measurements, LiDAR plays an important role in scene understanding for autonomous driving. Training deep neural networks (DNNs) on LiDAR data requires large-scale point-wise annotations, which are time-consuming and expensive to obtain. Instead, simulation-to-real domain adaptation (SRDA) trains a DNN using unlimited synthetic data with automatically generated labels and transfers the learned model to real scenarios. Existing SRDA methods for LiDAR point cloud segmentation mainly employ a multi-stage pipeline and focus on feature-level alignment. They require prior knowledge of real-world statistics and ignore the pixel-level dropout noise gap and the spatial feature gap between different domains. In this paper, we propose a novel end-to-end framework, named ePointDA, to address the above issues. Specifically, ePointDA consists of three modules: self-supervised dropout noise rendering, statistics-invariant and spatially-adaptive feature alignment, and transferable segmentation learning. The joint optimization enables ePointDA to bridge the domain shift at the pixel-level by explicitly rendering dropout noise for synthetic LiDAR and at the feature-level by spatially aligning the features between different domains, without requiring the real-world statistics. Extensive experiments adapting from synthetic GTA-LiDAR to real KITTI and SemanticKITTI demonstrate the superiority of ePointDA for LiDAR point cloud segmentation.

研究动机与目标

• 解决合成与真实激光雷达点云在语义分割任务中的域偏移问题。
• 克服现有多阶段、非端到端 SRDA 方法忽略像素级丢失噪声和空间特征间隙的局限性。
• 消除对真实世界先验统计信息的依赖，实现对增量真实数据的鲁棒性。
• 通过在端到端框架中联合建模像素级噪声生成与特征级对齐，提升分割性能。
• 利用合成数据实现激光雷达模型在真实自动驾驶场景中的实际部署。

提出的方法

• 提出一种自监督丢失噪声生成（SDNR）模块，利用未标注的真实数据，通过点坐标预测丢失噪声。
• 采用实例归一化与高阶矩匹配（HoMM）实现域间统计不变的特征对齐。
• 引入空间自适应卷积与域不变注意力机制，对齐空间特征并弥合空间特征间隙。
• 将 SDNR、特征对齐与分割头整合为单一端到端训练流程。
• 采用将三维激光雷达点云投影到二维图像的球面投影方法，实现高效处理并保留几何结构。
• 采用多阶段损失函数，结合分割、噪声生成与特征对齐目标，实现联合优化。

实验结果

研究问题

• RQ1 端到端框架能否有效降低合成与真实域之间激光雷达点云分割的域偏移？
• RQ2 显式建模像素级丢失噪声在多大程度上提升域自适应性能？
• RQ3 在无需真实世界先验统计信息的前提下，统计不变与空间自适应的特征对齐在多大程度上可减少特征级域间隙？
• RQ4 与顺序或流水线式方法相比，噪声生成与特征对齐的联合优化有何优势？
• RQ5 所提出方法是否能在无需微调的情况下泛化至不同真实数据集（如 KITTI 和 SemanticKITTI）？

主要发现

• 在 KITTI 数据集上，ePointDA 实现了 66.2% 的平均 IoU，较最先进方法 SqueezeSegV2 提升 2.0 个百分点。
• 在更复杂的 SemanticKITTI 基准上，ePointDA 实现了 54.1% 的 mIoU，显著优于基线模型与先前的 SRDA 方法。
• 消融实验表明，SDNR 与 ASAC（对齐的空间自适应卷积）的结合取得最佳性能，较基线提升 2.0% mIoU。
• 在反卷积层后附加的卷积层数量影响性能，两层卷积在感受野与分割结果上均达到最优。
• 可视化结果表明，生成的丢失噪声与真实世界模式高度一致，验证了自监督噪声生成模块的有效性。
• ePointDA 有效降低了对行人的误报，并提升了在点云缺失等复杂真实场景下的物体边界预测能力。