[论文解读] LiDARNet: A Boundary-Aware Domain Adaptation Model for Point Cloud Semantic Segmentation

Peng Jiang, Srikanth Saripalli|arXiv (Cornell University)|Mar 2, 2020

Advanced Neural Network Applications参考文献 46被引用 13

一句话总结

LiDARNet 提出了一种边界感知的域自适应模型，用于激光雷达点云语义分割，采用双分支网络提取域共享和域私有特征。通过集成 Gated-SCNN 以保持边界特征，并采用基于 CycleGAN 的特征映射，该模型在 SemanticKITTI、SemanticPOSS 和一个新数据集 SemanticUSL 上，使目标域的 mIoU 提升了 8%-22%，同时在源域上保持了接近原始性能。

ABSTRACT

We present a boundary-aware domain adaptation model for LiDAR scan full-scene semantic segmentation (LiDARNet). Our model can extract both the domain private features and the domain shared features with a two-branch structure. We embedded Gated-SCNN into the segmentor component of LiDARNet to learn boundary information while learning to predict full-scene semantic segmentation labels. Moreover, we further reduce the domain gap by inducing the model to learn a mapping between two domains using the domain shared and private features. Additionally, we introduce a new dataset (SemanticUSL\footnote{The access address of SemanticUSL:\url{https://unmannedlab.github.io/research/SemanticUSL}}) for domain adaptation for LiDAR point cloud semantic segmentation. The dataset has the same data format and ontology as SemanticKITTI. We conducted experiments on real-world datasets SemanticKITTI, SemanticPOSS, and SemanticUSL, which have differences in channel distributions, reflectivity distributions, diversity of scenes, and sensors setup. Using our approach, we can get a single projection-based LiDAR full-scene semantic segmentation model working on both domains. Our model can keep almost the same performance on the source domain after adaptation and get an 8\%-22\% mIoU performance increase in the target domain.

研究动机与目标

• 解决由于传感器、环境和数据分布差异导致的激光雷达点云语义分割中的域偏移问题。
• 开发一种域自适应模型，能够在保持源域性能的同时提升对目标域的泛化能力。
• 通过在共享特征空间中显式建模边界，利用 Gated-SCNN 增强特征学习。
• 通过共享特征和私有特征的双循环映射，减少域间差异。
• 引入一个新基准数据集 SemanticUSL，涵盖多样化场景和传感器配置，用于域自适应评估。

提出的方法

• 该模型采用双分支架构：一个基于 SalsaNext 的共享特征提取器，以及一个用于学习域特定特征的私有特征提取器。
• 将 Gated-SCNN 集成到分割器的解码器中，以保持并优化共享特征中的边界信息。
• 利用域共享特征和域私有特征训练一个类似 CycleGAN 的映射网络，以对齐域之间的特征分布。
• 使用域私有分类器监督私有特征学习，增强域特定表征能力。
• 采用 PatchGAN 判别器和实例归一化，以提升特征转换质量。
• 整个网络采用 SGD 进行端到端训练，损失函数包括对抗损失、分割损失和边界感知正则化。

实验结果

研究问题

• RQ1 域自适应模型是否能在显著提升目标域性能的同时，保持在源域的高性能？
• RQ2 边界感知的特征学习在提升跨域语义分割泛化能力方面有多有效？
• RQ3 共享特征与私有特征的联合学习在多大程度上能减少激光雷达点云分割中的域偏移？
• RQ4 所提出的基于 CycleGAN 的特征映射与像素级方法（如 CyCADA）在投影的 3D 点云上相比表现如何？
• RQ5 像 SemanticUSL 这样多样化的新型数据集能否作为评估跨域激光雷达语义分割的有效基准？

主要发现

• 该模型在源域（SemanticPOSS）上达到 52.18% 的 mIoU，在目标域（SemanticUSL）上达到 31.72% 的 mIoU，展现出强大的域自适应能力。
• 在 KITTI → USL 的域迁移中，该模型优于仅在 USL 数据上训练的模型，在目标域上取得了更高的 mIoU。
• 经过域自适应后，该模型在源域上的性能几乎保持不变，仅相比基线有轻微下降。
• 若不使用 CycleGAN 机制，USL 上的 mIoU 降至 36.55%，表明域对齐对性能至关重要。
• 若移除边界感知组件，mIoU 降至 37.20%，证实边界监督可有效提升分割质量。
• 像素级方法 CyCADA 未能良好泛化，尤其在 SemanticPOSS 上表现不佳，原因在于数据不足且缺乏局部特征适应能力。