[论文解读] Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic Segmentation

Guanglei Yang, Zhun Zhong+4 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Neural Network Applications参考文献 27被引用 7

一句话总结

本文提出Bi-Mix，一种用于域自适应夜间语义分割的一阶段双向混合框架，通过联合利用粗略对齐的昼夜图像对，提升图像重光照和分割域适应性能。通过在图像翻译到分割与分割到翻译学习之间交替进行，并采用类别平衡的混合采样策略，Bi-Mix在Dark Zurich和Nighttime Driving数据集上均取得最先进性能，mIoU分别达到47.3%和51.6%。

ABSTRACT

In autonomous driving, learning a segmentation model that can adapt to various environmental conditions is crucial. In particular, copying with severe illumination changes is an impelling need, as models trained on daylight data will perform poorly at nighttime. In this paper, we study the problem of Domain Adaptive Nighttime Semantic Segmentation (DANSS), which aims to learn a discriminative nighttime model with a labeled daytime dataset and an unlabeled dataset, including coarsely aligned day-night image pairs. To this end, we propose a novel Bidirectional Mixing (Bi-Mix) framework for DANSS, which can contribute to both image translation and segmentation adaptation processes. Specifically, in the image translation stage, Bi-Mix leverages the knowledge of day-night image pairs to improve the quality of nighttime image relighting. On the other hand, in the segmentation adaptation stage, Bi-Mix effectively bridges the distribution gap between day and night domains for adapting the model to the night domain. In both processes, Bi-Mix simply operates by mixing two samples without extra hyper-parameters, thus it is easy to implement. Extensive experiments on Dark Zurich and Nighttime Driving datasets demonstrate the advantage of the proposed Bi-Mix and show that our approach obtains state-of-the-art performance in DANSS. Our code is available at https://github.com/ygjwd12345/BiMix.

研究动机与目标

• 为解决自动驾驶中域偏移问题，特别是白天训练模型在夜间条件下的泛化能力差的问题。
• 在不依赖中间 twilight 域的前提下，利用粗略对齐的昼夜图像对提升图像重光照质量。
• 通过在适应过程中引入类别平衡的混合采样策略，缓解夜间分割中的类别不平衡问题。
• 将图像翻译与分割适应统一到一个高效的一阶段框架中，避免多阶段训练带来的误差累积。
• 通过双向学习增强翻译模型与分割模型之间的相互监督。

提出的方法

• Bi-Mix采用双向学习框架，包含两个方向：'翻译到分割'（Trans2Seg）和'分割到翻译'（Seg2Trans）。
• 在Trans2Seg中，图像翻译模型对夜间图像进行重光照，随后使用分割头进行分割，损失函数包括分割损失和对抗性损失。
• 在Trans2Seg中，通过将随机选择的白天图像类别像素与夜间图像混合，实现混合采样，以平衡类别分布。
• 在Seg2Trans中，利用预测的分割掩码生成混合样本，以指导翻译模型，确保昼夜图像之间的内容一致性。
• 在Seg2Trans中应用一致性损失，将翻译后的图像与原始白天图像对齐，从而提升翻译质量。
• 该框架使用三个超参数（μ₁, μ₂, μ₃）来平衡混合采样、重光照和自监督学习，最优值分别为0.001、0.001和1。

实验结果

研究问题

• RQ1 能否通过图像翻译与分割适应的联合学习，在无需中间域的前提下提升夜间语义分割性能？
• RQ2 如何有效利用粗略对齐的昼夜图像对来提升重光照与分割质量？
• RQ3 混合采样策略能否在保持语义一致性的同时缓解夜间分割中的类别不平衡问题？
• RQ4 翻译与分割模型之间的双向学习是否能带来相互提升并实现更好的域适应？
• RQ5 所提出方法对控制混合采样与自监督学习的超参数是否敏感？

主要发现

• Bi-Mix在Nighttime Driving测试集上达到47.3%的mIoU，创下新的最先进水平。
• 在Dark Zurich测试集上，Bi-Mix取得51.6%的mIoU，表明其对未见夜间场景具有强大的泛化能力。
• 消融实验表明，双向方向（Trans2Seg与Seg2Trans）中均采用单向混合采样，其性能优于基线方法DANNet。
• 重光照网络显著提升性能，若移除该模块，mIoU明显下降，证明其在提升图像质量方面至关重要。
• 参数分析显示，最优性能出现在μ₁ = 0.001、μ₂ = 0.001和μ₃ = 1，更高值会导致性能下降。
• 定性结果表明，与基线方法相比，Bi-Mix生成的重光照图像更具真实感且语义一致性更强。