[论文解读] Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation

Lin Chen, Zhixiang Wei+5 more|arXiv (Cornell University)|Sep 16, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出了一种名为精心设计的域衔接（Deliberated Domain Bridging, DDB）的新方法，用于域自适应语义分割。该方法通过粗粒度区域级与细粒度类别级双路径数据混合，并结合跨路径知识蒸馏，逐步对齐源域与目标域。DDB 在两个互补的教师模型之间交替训练，并将它们的知识蒸馏到一个学生模型中，从而在多个基准测试中实现了最先进（SOTA）的性能，G→C 设置下的 mIoU 提升最高达 62.7%。

ABSTRACT

In unsupervised domain adaptation (UDA), directly adapting from the source to the target domain usually suffers significant discrepancies and leads to insufficient alignment. Thus, many UDA works attempt to vanish the domain gap gradually and softly via various intermediate spaces, dubbed domain bridging (DB). However, for dense prediction tasks such as domain adaptive semantic segmentation (DASS), existing solutions have mostly relied on rough style transfer and how to elegantly bridge domains is still under-explored. In this work, we resort to data mixing to establish a deliberated domain bridging (DDB) for DASS, through which the joint distributions of source and target domains are aligned and interacted with each in the intermediate space. At the heart of DDB lies a dual-path domain bridging step for generating two intermediate domains using the coarse-wise and the fine-wise data mixing techniques, alongside a cross-path knowledge distillation step for taking two complementary models trained on generated intermediate samples as 'teachers' to develop a superior 'student' in a multi-teacher distillation manner. These two optimization steps work in an alternating way and reinforce each other to give rise to DDB with strong adaptation power. Extensive experiments on adaptive segmentation tasks with different settings demonstrate that our DDB significantly outperforms state-of-the-art methods. Code is available at https://github.com/xiaoachen98/DDB.git.

研究动机与目标

• 为解决现有域衔接方法在密集预测任务（如语义分割）中的局限性，特别是基于风格迁移的方法引入伪影且无法对齐标签空间的问题。
• 开发一种更有效且更具针对性的域衔接策略，以保持语义完整性，并减少目标域中的类别混淆。
• 通过数据混合构建互补的中间表征，实现从源域到目标域的渐进式知识迁移。
• 通过一种新颖的交替优化框架，结合双路径域桥接与跨路径知识蒸馏，提升适应性能。

提出的方法

• 双路径域桥接（Dual-Path Domain Bridging, DPDB）利用粗粒度区域级混合（如 CutMix）与细粒度类别级混合（如 ClassMix）构建两个中间域，并在每条路径上分别训练两个专家教师模型。
• 跨路径知识蒸馏（Cross-Path Knowledge Distillation, CKD）利用两个教师模型指导单个学生模型在无标签目标数据上的学习，结合硬蒸馏与自适应集成策略，以提升泛化能力。
• DPDB 与 CKD 步骤在训练过程中交替进行，使教师与学生模型之间实现相互增强，逐步减少域间差异。
• 该方法利用基于局部替换的数据混合策略，保持了对象级别的语义一致性，避免了全局插值方法常见的像素级模糊问题。
• 整个框架采用端到端的自训练流水线进行训练，学生模型通过教师模型生成的伪标签进行迭代优化。
• CKD 中的自适应集成策略动态结合两个教师模型的预测结果，以提升鲁棒性并减少学生模型中的类别偏差。

实验结果

研究问题

• RQ1 能否将数据混合技术有效重用于语义分割任务中的有意识域桥接机制，而不仅作为数据增强手段？
• RQ2 粗粒度与细粒度数据混合如何协同作用，以改善密集预测任务中的域对齐？
• RQ3 在双路径桥接与跨路径蒸馏之间交替优化，是否能增强知识迁移与模型泛化能力？
• RQ4 结合硬蒸馏与自适应集成的跨路径知识蒸馏，是否优于标准软蒸馏与单路径知识迁移？

主要发现

• 在 G→C 基准上，经过两轮交替的 DPDB 与 CKD 训练后，学生模型达到了 62.7% 的 mIoU，显著优于仅使用源域的基线模型（32.1%）。
• 教师模型的跨路径集成在 G→C 设置上达到了 58.2% 的 mIoU，证明了粗粒度与细粒度混合路径之间的互补性。
• 在 CKD 中采用硬蒸馏与自适应集成策略，相比标准软蒸馏，性能提升了 1.3 mIoU，凸显了该蒸馏策略的有效性。
• 在所有基准测试中，学生模型在第二轮训练时达到性能峰值，后续轮次因多源或多目标设置下的域冲突出现轻微下降。
• 消融实验表明，双路径训练的模型始终优于单路径模型，且跨路径集成表现出更强的鲁棒性与更低的类别混淆。