[论文解读] Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation

Huan Gao, Jichang Guo+2 more|arXiv (Cornell University)|May 2, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出CCDistill，一种新颖的无监督域自适应框架，用于夜间语义分割，通过跨域相关性蒸馏利用光照不变性和数据集固有差异。通过从有标签的白天图像中蒸馏内容和风格知识至无标签的夜间图像，利用学习到的特征相关性，该方法在无需额外数据或风格迁移网络的情况下实现了最先进性能，在Dark Zurich数据集上达到47.5%的mIoU。

ABSTRACT

The performance of nighttime semantic segmentation is restricted by the poor illumination and a lack of pixel-wise annotation, which severely limit its application in autonomous driving. Existing works, e.g., using the twilight as the intermediate target domain to perform the adaptation from daytime to nighttime, may fail to cope with the inherent difference between datasets caused by the camera equipment and the urban style. Faced with these two types of domain shifts, i.e., the illumination and the inherent difference of the datasets, we propose a novel domain adaptation framework via cross-domain correlation distillation, called CCDistill. The invariance of illumination or inherent difference between two images is fully explored so as to make up for the lack of labels for nighttime images. Specifically, we extract the content and style knowledge contained in features, calculate the degree of inherent or illumination difference between two images. The domain adaptation is achieved using the invariance of the same kind of difference. Extensive experiments on Dark Zurich and ACDC demonstrate that CCDistill achieves the state-of-the-art performance for nighttime semantic segmentation. Notably, our method is a one-stage domain adaptation network which can avoid affecting the inference time. Our implementation is available at https://github.com/ghuan99/CCDistill.

研究动机与目标

• 为解决因光照不足和缺乏像素级标注导致的夜间语义分割性能下降问题。
• 处理两类域偏移：光照差异和数据集固有差异（如城市风格、相机传感器差异）。
• 开发一种端到端、单阶段的无监督域自适应框架，避免增加推理时间。
• 通过利用跨域相关性中的不变性，在大域偏移下改进知识蒸馏。
• 在不依赖外部图像翻译网络的前提下，实现有效的语义级风格迁移。

提出的方法

• 提出跨域相关性蒸馏（CCD），以提取并利用跨域间内容与风格差异中的不变性。
• 使用投影头将不同域的特征映射到共享嵌入空间，以实现有意义的相关性计算。
• 采用Jensen-Shannon散度损失（$L_{JS}$）对齐跨域内容嵌入，增强知识蒸馏效果。
• 引入光照相关性（$Cor_{illu}$）和固有相关性（$Cor_{in}$）以度量并利用域偏移中的不变性。
• 在语义级蒸馏前，应用基于LAB的颜色空间转换以减少全局风格差异。
• 结合内容蒸馏（CCD）与风格蒸馏（CDS），实现语义一致性与风格对齐的双重优化。

实验结果

研究问题

• RQ1 跨域相关性蒸馏能否有效处理夜间语义分割中光照与数据集固有差异的域偏移？
• RQ2 通过内容与风格相关性度量的域偏移不变性，如何提升无监督域自适应中的知识蒸馏效果？
• RQ3 单阶段、端到端框架能否在不依赖额外训练数据或风格迁移网络的情况下实现最先进性能？
• RQ4 各组件（如投影头、$L_{JS}$、CDS、LAB转换）对最终性能的相对贡献如何？
• RQ5 当域偏移较大时，通过CDS实现的语义级风格对齐是否优于直接蒸馏？

主要发现

• CCDistill在Dark Zurich测试集上达到47.5%的mIoU，创下无监督夜间语义分割的新最先进水平。
• 移除跨域内容蒸馏（CCD）组件导致mIoU下降2.2%，证明其在性能提升中的核心作用。
• 投影头至关重要——若省略该模块，mIoU下降9.3%，表明域间隙感知的特征对齐对有效蒸馏至关重要。
• $L_{JS}$损失带来2.9%的mIoU提升，证实其在优化内容嵌入对齐方面的价值。
• CDS（跨域风格蒸馏）贡献0.5%的mIoU增益，且其移除导致3.5%的mIoU下降，凸显其在语义级风格迁移中的关键作用。
• 基于LAB的颜色空间转换使性能提升4%，表明全局风格对齐可显著降低下游语义迁移的难度。