[论文解读] Adaptation Across Extreme Variations using Unlabeled Domain Bridges

Shuyang Dai, Kihyuk Sohn+3 more|arXiv (Cornell University)|Jun 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 53被引用 7

一句话总结

本文提出了一种领域自适应框架，通过引入无标签的桥接领域来减少源域与目标域之间的巨大领域差异。该方法通过扩展领域对抗网络，使用多个判别器以最小化跨桥接领域的渐进差异，从而在极端领域偏移下的目标识别和语义分割任务中实现了显著的性能提升。

ABSTRACT

We tackle an unsupervised domain adaptation problem for which the domain discrepancy between labeled source and unlabeled target domains is large, due to many factors of inter and intra-domain variation. While deep domain adaptation methods have been realized by reducing the domain discrepancy, these are difficult to apply when domains are significantly unalike. In this work, we propose to decompose domain discrepancy into multiple but smaller, and thus easier to minimize, discrepancies by introducing unlabeled bridging domains that connect the source and target domains. We realize our proposal through an extension of the domain adversarial neural network with multiple discriminators, each of which accounts for reducing discrepancies between unlabeled (bridge, target) domains and a mix of all precedent domains including source. We validate the effectiveness of our method on several adaptation tasks including object recognition and semantic segmentation.

研究动机与目标

• 解决由于光照、视角和分辨率等域间与域内因素导致的极端领域变化场景下的无监督领域自适应问题。
• 克服标准领域对抗网络在源域与目标域差异过大时表现不佳的局限性。
• 引入与源域和目标域部分特征（如光照）共享的无标签桥接领域，将巨大的领域差异分解为更小、更易管理的步骤。
• 开发一种多阶段对抗性框架，通过中间桥接领域逐步对齐从源域到目标域的表示。
• 在极端领域偏移下的挑战性视觉任务（如目标识别和语义分割）中验证该方法的有效性。

提出的方法

• 引入与源域共享部分因素（如光照）且与目标域共享其他因素（如视角、分辨率）的无标签桥接领域。
• 将领域对抗神经网络（DANN）扩展为使用多个判别器，每个判别器负责最小化桥接领域与所有先前领域（包括源域）混合表示之间的差异。
• 使用领域判别器在自适应流程的每个阶段强制实现领域不变表示。
• 将训练目标公式化为最小化目标误差的上界，该上界包含源域误差以及每个桥接领域与累积前序领域混合表示之间的差异。
• 在对抗训练过程中同时使用d-Score和MMD（最大均值差异）作为领域差异度量。
• 采用共享特征提取器和每个自适应阶段独立的领域判别器，实现端到端的联合训练，从而实现渐进式领域对齐。

实验结果

研究问题

• RQ1 在源域与目标域存在极端差异的情况下，引入中间无标签桥接领域是否能提升领域自适应性能？
• RQ2 将单一巨大领域差异分解为跨桥接领域的多个较小差异，是否能带来比直接自适应更好的表示对齐效果？
• RQ3 桥接领域的数量如何影响视觉任务中无监督领域自适应的性能？
• RQ4 所提出的多阶段对抗性框架是否能在领域偏移下的语义分割任务中超越标准DANN和朴素领域合并基线方法？
• RQ5 桥接领域的有效性是否在不同类型的领域偏移（如雾、光照、视角变化）下均保持稳健？

主要发现

• 使用单一桥接领域（GTA5 → Cityscapes → Foggy Cityscapes 0.02）将Foggy Cityscapes 0.02测试集上的mIoU从直接自适应（GTA5 → F₀.₀₂）的33.08提升至34.82。
• 采用两个桥接领域的模型（GTA5 → Cityscapes → Foggy Cityscapes 0.01 → Foggy Cityscapes 0.02）在mIoU上达到35.31，显著优于单桥接和直接自适应基线。
• 将Cityscapes与Foggy Cityscapes 0.02朴素合并为单一无标签领域（GTA5 → City + F₀.₀₂）导致性能下降（mIoU为32.62），表明具有显著差异的领域合并会降低自适应质量。
• 使用两个桥接领域（35.31 mIoU）的性能提升高于仅使用一个桥接领域（34.82 mIoU），即使无标签图像总数保持不变，表明多阶段对齐具有显著优势。
• 该方法在多个任务（包括目标识别和语义分割）中均实现了稳定提升，验证了其在极端领域偏移下的泛化能力。
• 使用d-Score和MMD作为差异度量显著提升了SV4–5测试集上的性能，相较于无桥接域的情况，证实了所提框架的有效性。