[论文解读] DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation

Xinyi Wu, Zhenyao Wu+3 more|arXiv (Cornell University)|Apr 22, 2021

Advanced Neural Network Applications参考文献 50被引用 7

一句话总结

本文提出DANNet，一种用于无监督夜间语义分割的一阶段域适应网络，通过利用粗略对齐的昼夜图像对提供的伪监督信号以及对抗性训练，将白天标注的模型（Cityscapes）适配到夜间域。该方法通过采用光照重制、多目标适应和重加权策略，在无需预训练图像翻译模型的前提下，显著提升了小物体分割性能，在Dark Zurich和Nighttime Driving基准上实现了最先进性能。

ABSTRACT

Semantic segmentation of nighttime images plays an equally important role as that of daytime images in autonomous driving, but the former is much more challenging due to poor illuminations and arduous human annotations. In this paper, we propose a novel domain adaptation network (DANNet) for nighttime semantic segmentation without using labeled nighttime image data. It employs an adversarial training with a labeled daytime dataset and an unlabeled dataset that contains coarsely aligned day-night image pairs. Specifically, for the unlabeled day-night image pairs, we use the pixel-level predictions of static object categories on a daytime image as a pseudo supervision to segment its counterpart nighttime image. We further design a re-weighting strategy to handle the inaccuracy caused by misalignment between day-night image pairs and wrong predictions of daytime images, as well as boost the prediction accuracy of small objects. The proposed DANNet is the first one stage adaptation framework for nighttime semantic segmentation, which does not train additional day-night image transfer models as a separate pre-processing stage. Extensive experiments on Dark Zurich and Nighttime Driving datasets show that our method achieves state-of-the-art performance for nighttime semantic segmentation.

研究动机与目标

• 解决自动驾驶应用中光照不足以及夜间标注数据匮乏的挑战。
• 通过提出端到端的一阶段域适应框架，消除对独立图像到图像翻译模型的依赖。
• 利用粗略对齐的昼夜图像对，通过静态物体类别预测提供伪监督，用于夜间语义分割。
• 通过一种新颖的重加权策略提升小物体分割的准确性，该策略可处理错位和预测误差。
• 在不依赖合成数据或预处理图像翻译的前提下，实现在夜间语义分割基准上的最先进性能。

提出的方法

• 使用光照损失训练一个权重重用的图像光照重制网络，以对齐来自不同域的白天和夜间图像之间的强度分布。
• 以Cityscapes数据集（白天标注）作为源域，适应到Dark Zurich-D（白天）和Dark Zurich-N（夜间）作为目标域。
• 在光照重制后的图像上应用共享的语义分割网络，通过输出空间的对抗性训练，对齐不同域之间的特征布局。
• 使用Dark Zurich-D的预测结果作为Dark Zurich-N上的伪标签进行训练，仅关注静态物体类别以减少噪声。
• 引入一种重加权策略，通过基于预测置信度和空间方差调整损失权重，降低不确定预测的权重，同时增强小物体分割。
• 使用多任务损失端到端优化完整网络：包括分割损失、光照损失，以及带自适应加权的专用静态物体损失。

实验结果

研究问题

• RQ1 一阶段域适应框架是否能超越依赖预训练图像翻译网络的两阶段方法，在夜间语义分割任务中表现更优？
• RQ2 基于粗略对齐的昼夜图像对中白天预测的伪监督信号，是否能有效引导无真实标签的夜间分割？
• RQ3 专门设计的重加权策略是否能提升低光照条件下小物体的分割性能？
• RQ4 在无成对真实标签的情况下，对抗性训练在对齐昼夜域之间特征分布方面是否有效？
• RQ5 通过光照损失函数进行图像光照重制，是否能增强域对齐并提升分割性能？

主要发现

• 在Dark Zurich-val数据集上，DANNet实现了36.76的mIoU，比之前最先进方法高出超过10%。
• 在Nighttime Driving测试集上，使用PSPNet主干网络的DANNet达到47.70 mIoU，排名第二，显著优于大多数现有方法。
• 消融实验证实，若移除来自Dark Zurich-D的伪监督，mIoU将下降13.78%，证明其在域适应中的关键作用。
• 重加权策略显著提升了小物体分割性能，如图6所示，此前漏检的物体被正确预测。
• 在重加权策略中将标准差（std）设为0.16时性能最优，消融实验表明相比基线设置mIoU提升1.8%。
• 完整DANNet模型在Dark Zurich-val上相比基线方法AdaptSegNet实现了10%的性能提升，证明了集成组件的有效性。