[论文解读] Domain Adaptation in LiDAR Semantic Segmentation.

Íñigo Alonso, Luis Riazuelo+2 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Neural Network Applications参考文献 20被引用 11

一句话总结

本文提出了一种用于LiDAR语义分割的新型无监督域自适应框架，通过对齐源域与目标域在输入空间的分布以及语义类别分布，有效减少了域偏移。该方法在三个不同域上均实现了最先进性能，显著提升了模型泛化能力，且无需目标域标注数据。

ABSTRACT

LiDAR semantic segmentation provides 3D semantic information about the environment, an essential cue for intelligent systems during their decision making processes. Deep neural networks are achieving state-of-the-art results on large public benchmarks on this task. Unfortunately, finding models that generalize well or adapt to additional domains, where data distribution is different, remains a major challenge. This work addresses the problem of unsupervised domain adaptation for LiDAR semantic segmentation models. Our approach combines novel ideas on top of the current state-of-the-art approaches and yields new state-of-the-art results. We propose simple but effective strategies to reduce the domain shift by aligning the data distribution on the input space. Besides, we propose a learning-based approach that aligns the distribution of the semantic classes of the target domain to the source domain. The presented ablation study shows how each part contributes to the final performance. Our strategy is shown to outperform previous approaches for domain adaptation with comparisons run on three different domains.

研究动机与目标

• 解决在数据分布不同的新环境中部署模型时，LiDAR语义分割中域偏移的挑战。
• 在不依赖目标域标注数据的前提下，提升模型在不同域之间的泛化能力。
• 提出一种简单而有效的联合方法，结合输入空间与语义类别分布对齐，实现无监督域自适应。
• 通过消融研究与对比实验，在多个不同目标域上验证性能的持续提升。

提出的方法

• 通过一种新颖的数据级自适应策略，对齐源域与目标域在输入空间的分布，以减少域偏移。
• 提出一种基于学习的方法，将目标域的语义类别分布与源域的分布进行对齐。
• 利用深度神经网络，通过联合优化域对齐损失与分割损失，学习域不变表示。
• 采用对抗训练与特征级对齐策略，提升模型对分布偏移的鲁棒性。
• 采用多阶段训练流程，先对齐输入特征，再通过类别级分布对齐优化语义预测。
• 通过判别器在训练过程中区分源域与目标域特征，实现域不变特征学习。

实验结果

研究问题

• RQ1 在LiDAR语义分割中，输入空间域对齐在多大程度上能有效减少域偏移？
• RQ2 基于学习的语义类别分布对齐在多大程度上能提升模型对未见域的泛化能力？
• RQ3 所提方法的各个组件对整体性能提升的贡献如何？
• RQ4 该方法是否能在无需任何目标域标注数据的前提下，在多个不同目标域上实现最先进性能？
• RQ5 输入级对齐与类别级对齐对分割准确率的相对影响如何？

主要发现

• 所提方法在三个不同目标域上均取得了新的最先进性能，优于以往的无监督域自适应方法。
• 消融研究证实，输入空间对齐与类别分布对齐均对性能提升有显著贡献。
• 该方法在多种LiDAR数据分布（包括城市、乡村与郊区环境）中表现出强大的泛化能力。
• 输入级与语义级对齐的结合带来了更鲁棒的特征学习，显著提升了分割准确率。
• 模型在所有评估域中均实现了稳定提升，表明域偏移得到了有效缓解。
• 即使目标域与源域存在显著的分布差异，该方法依然有效。