[论文解读] Multiple Fusion Adaptation: A Strong Framework for Unsupervised Semantic Segmentation Adaptation

Kai Zhang, Yifan Sun+3 more|arXiv (Cornell University)|Dec 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用 5

一句话总结

该论文提出了一种名为多融合自适应（Multiple Fusion Adaptation, MFA）的新颖无监督域自适应框架，用于语义分割任务。该框架在协同学习框架内整合了三种并行融合策略——在线-离线伪标签融合、跨模型融合与时间融合。MFA在GTA5到Cityscapes和SYNTHIA到Cityscapes两个基准上分别取得了58.2%和62.5%的mIoU，显著提升了无标注目标域上的分割精度，且无需额外标注。

ABSTRACT

This paper challenges the cross-domain semantic segmentation task, aiming to improve the segmentation accuracy on the unlabeled target domain without incurring additional annotation. Using the pseudo-label-based unsupervised domain adaptation (UDA) pipeline, we propose a novel and effective Multiple Fusion Adaptation (MFA) method. MFA basically considers three parallel information fusion strategies, i.e., the cross-model fusion, temporal fusion and a novel online-offline pseudo label fusion. Specifically, the online-offline pseudo label fusion encourages the adaptive training to pay additional attention to difficult regions that are easily ignored by offline pseudo labels, therefore retaining more informative details. While the other two fusion strategies may look standard, MFA pays significant efforts to raise the efficiency and effectiveness for integration, and succeeds in injecting all the three strategies into a unified framework. Experiments on two widely used benchmarks, i.e., GTA5-to-Cityscapes and SYNTHIA-to-Cityscapes, show that our method significantly improves the semantic segmentation adaptation, and sets up new state of the art (58.2% and 62.5% mIoU, respectively). The code will be available at https://github.com/KaiiZhang/MFA.

研究动机与目标

• 在无需额外标注的前提下，解决源域（有标注）与目标域（无标注）之间语义分割的域差距问题。
• 克服传统伪标签方法的局限性，后者常因依赖静态、离线伪标签而忽略难样本与信息量高的样本。
• 通过融合多种监督信号来源（来自协同学习者的在线预测、离线伪标签以及时间平均模型）提升自训练效率与鲁棒性。
• 构建一个统一框架，同时利用三种互补的融合机制，以增强模型泛化能力与伪标签质量。

提出的方法

• 采用双模型协同学习框架（Net A 与 Net B），每个模型均通过自身的离线伪标签与协同学习者生成的在线伪标签进行协同监督。
• 引入在线-离线伪标签融合机制，通过协同学习者的动量平均版本生成在线伪标签，以自适应捕捉传统离线标签忽略的难样本与信息量高的样本。
• 通过当前模型与其动量平均版本之间的一致性损失实现时间融合，以稳定训练过程并降低伪标签中的噪声。
• 通过联合从两个模型生成离线伪标签实现跨模型融合，以提升标签质量并减少自训练过程中的偏差。
• 采用统一的训练流程，将在线-离线融合、跨模型融合与时间融合三种策略整合进单一高效框架。
• 利用协同学习者最新的参数生成更准确、更具动态性的在线伪标签，从而在迭代式自训练过程中减少对噪声监督的暴露。

实验结果

研究问题

• RQ1 如何在无监督域自适应语义分割中提升伪标签的质量与多样性？
• RQ2 在训练过程中实时生成的在线伪标签在多大程度上能补充传统离线伪标签，以捕捉难以分割的区域？
• RQ3 将多种融合机制（在线-离线、跨模型与时间融合）整合后，能否协同提升模型的鲁棒性与适应性能？
• RQ4 在两阶段无监督域自适应（UDA）流程中，每种融合策略对最终分割精度的相对贡献如何？
• RQ5 所提出的具有动态标签融合的协同学习框架是否在标准基准上优于标准自训练基线方法与现有SOTA方法？

主要发现

• MFA在GTA5-to-Cityscapes基准上实现了58.2%的新SOTA mIoU，显著超越此前方法。
• 在SYNTHIA-to-Cityscapes基准上，MFA达到62.5% mIoU，创下新SOTA结果，展现出在域偏移下的强大泛化能力。
• 消融实验表明，三种融合组件（时间、跨模型与在线-离线）的联合使用相较基础自训练基线，mIoU提升达10.1%。
• 在线-离线伪标签融合贡献最大，相较基础自训练实现+7.1% mIoU提升，凸显其在捕捉难样本方面的有效性。
• 引入跨模型融合与时间融合进一步提升性能，分别带来+6.1%与+5.0%的增益，证明二者具有互补作用。
• 带有动量平均协同学习者的协同学习框架可稳定在线伪标签生成过程，减少噪声并提升自训练过程中的收敛性。