[论文解读] ConDA: Unsupervised Domain Adaptation for LiDAR Segmentation via Regularized Domain Concatenation

Lingdong Kong, Niamul Quader+1 more|arXiv (Cornell University)|Nov 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 70被引用 4

一句话总结

ConDA 提出了一种用于激光雷达语义分割的新型无监督域自适应框架，通过将源域（带真实标签）和目标域（带伪标签）的非重叠、空间对齐区域拼接，构建一个中间域，从而实现细粒度的跨域交互。该方法在 Boston→Singapore 基准上实现了 42.3% 的 mIoU，达到当前最先进性能，显著优于以往方法，其优势源于内置的抗混叠正则化器和熵聚合器，有效降低了噪声和混叠伪影的影响。

ABSTRACT

Transferring knowledge learned from the labeled source domain to the raw target domain for unsupervised domain adaptation (UDA) is essential to the scalable deployment of autonomous driving systems. State-of-the-art methods in UDA often employ a key idea: utilizing joint supervision signals from both source and target domains for self-training. In this work, we improve and extend this aspect. We present ConDA, a concatenation-based domain adaptation framework for LiDAR segmentation that: 1) constructs an intermediate domain consisting of fine-grained interchange signals from both source and target domains without destabilizing the semantic coherency of objects and background around the ego-vehicle; and 2) utilizes the intermediate domain for self-training. To improve the network training on the source domain and self-training on the intermediate domain, we propose an anti-aliasing regularizer and an entropy aggregator to reduce the negative effect caused by the aliasing artifacts and noisy pseudo labels. Through extensive studies, we demonstrate that ConDA significantly outperforms prior arts in mitigating domain gaps.

研究动机与目标

• 解决在波士顿和新加坡等城市之间激光雷达语义分割中的域差距问题，尤其针对目标域中标注数据稀缺的挑战。
• 通过实现源域与目标域之间更精细、空间一致的交互，超越简单的特征对齐，提升无监督域自适应（UDA）性能。
• 缓解自训练过程中因噪声伪标签和混叠伪影带来的负面影响，适用于三维点云分割的 UDA。
• 开发一种训练框架，通过显式正则化和不确定性感知监督，提升模型泛化能力。

提出的方法

• 通过拼接源域和目标域激光雷达俯视图中非重叠的空间区域（如前-上、后-下）构建中间域，同时保持其相对位置关系，以维持语义一致性。
• 在每个卷积块内引入内置的抗混叠正则化器，无需目标域标注即可抑制高频混叠伪影。
• 引入一种基于熵的聚合器，过滤掉目标域中高熵（低置信度）的伪标签，以提升自训练信号的质量。
• 在中间域上联合执行自训练，利用源域真实标签和经优化的目标域伪标签进行更优的特征学习。
• 采用俯视图（RV）表示激光雷达点云，以保留空间上下文信息，并支持结构化的域混合。
• 端到端训练分割主干网络，结合源域上的交叉熵损失和中间域上的一致性正则化损失。

Figure 1: Illustrative examples for domain concatenation. (a) Visual RGB and LiDAR range-view (RV) projections of the source (ground-truth) and target (pseudo-labels) domains. Images adopted from nuScenes [ 2 ] . (b) Cylindrical representation of LiDAR RV. (c) Concatenated examples. Mixing domains u

实验结果

研究问题

• RQ1 将源域与目标域激光雷达数据中空间对齐的非重叠区域进行域拼接，是否能在保持语义一致性的前提下，实现细粒度的跨域交互？
• RQ2 在神经网络架构中引入抗混叠正则化器，是否能有效降低混叠伪影在激光雷达分割 UDA 中的负面影响？
• RQ3 基于熵的过滤机制是否能提升伪标签质量，从而在缺乏目标域标注的情况下增强自训练性能？
• RQ4 所提出的中间域训练策略是否相比标准自训练或对抗性自适应方法，能带来更好的泛化性能和更高的 mIoU？

主要发现

• ConDA 在 Boston→Singapore UDA 基准上实现了 42.3% 的 mIoU，显著优于以往 SOTA 方法，如 CBST（38.1%）和 IntraDA（36.8%）。
• 在 Boston→Singapore 设置下，该方法在 'rider' 类上达到 27.9% 的 mIoU，在 'motorcycle' 类上达到 82.3%，显示出对稀有和挑战性类别显著的性能提升。
• 熵聚合器减少了低置信度伪标签的数量，提升了自训练的可靠性，并为基线自训练带来了 4.2% 的 mIoU 提升。
• 抗混叠正则化器有效抑制了高频噪声，降低了域拼接过程中区域重组合带来的负面影响。
• ConDA 在 mIoU 和推理速度两方面均优于对抗性方法（如 AdvEnt 和 DADA），且训练时间与 MinEnt 和 CBST 相当。
• 定性结果表明，ConDA 在车辆本体周围整体上减少了错误预测，而以往方法仅表现出有限或局部的改进。

Figure 2: Overview of our concatenation-based domain adaptation (ConDA) framework. After preprocessing (Sec. III-A ), sample stripes from both domains are mixed via RV concatenation (Sec. III-B ). The concatenated inputs are fed into the segmentation network for feature extraction. We include anti-a