[论文解读] A Review of Single-Source Deep Unsupervised Visual Domain Adaptation

Sicheng Zhao, Xiangyu Yue+9 more|arXiv (Cornell University)|Sep 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 214被引用 23

一句话总结

本文综述了单源深度无监督视觉域自适应（DUDA）方法，将其分类为基于差异的方法、对抗性判别方法、对抗性生成方法以及基于自监督的方法。文章全面分析了减轻视觉任务中域偏移的技术，并指出了关键挑战与未来研究方向，包括真实世界域自适应、模型鲁棒性、神经架构搜索，以及学习常识以提升泛化能力。

ABSTRACT

Large-scale labeled training datasets have enabled deep neural networks to excel across a wide range of benchmark vision tasks. However, in many applications, it is prohibitively expensive and time-consuming to obtain large quantities of labeled data. To cope with limited labeled training data, many have attempted to directly apply models trained on a large-scale labeled source domain to another sparsely labeled or unlabeled target domain. Unfortunately, direct transfer across domains often performs poorly due to the presence of domain shift or dataset bias. Domain adaptation is a machine learning paradigm that aims to learn a model from a source domain that can perform well on a different (but related) target domain. In this paper, we review the latest single-source deep unsupervised domain adaptation methods focused on visual tasks and discuss new perspectives for future research. We begin with the definitions of different domain adaptation strategies and the descriptions of existing benchmark datasets. We then summarize and compare different categories of single-source unsupervised domain adaptation methods, including discrepancy-based methods, adversarial discriminative methods, adversarial generative methods, and self-supervision-based methods. Finally, we discuss future research directions with challenges and possible solutions.

研究动机与目标

• 提供对单源深度无监督视觉域自适应（DUDA）在视觉识别任务中最新进展的全面综述。
• 基于其架构与学习策略，对主要的DUDA方法——基于差异的方法、对抗性判别方法、对抗性生成方法以及基于自监督的方法——进行分类与比较。
• 识别在真实世界域自适应中面临的关键挑战，如多个源域存在不同标签可用性以及标签空间不匹配。
• 探索未来研究方向，包括模型鲁棒性、神经架构搜索，以及学习常识以提升域泛化能力。
• 为研究人员和实践者提供对当前DUDA状态的理解，并为未来的方法论发展提供指导。

提出的方法

• 将DUDA方法划分为四类主要类别：基于差异的方法、对抗性判别方法、对抗性生成方法以及基于自监督的方法。
• 分析域不变特征学习在减少源域与目标域之间域偏移方面的作用。
• 在判别与生成框架中采用对抗性训练，以对齐不同域之间的特征分布。
• 利用自监督的预训练任务，学习无需目标数据标签的有意义表征。
• 在多个层次上实现域对齐，包括特征级、实例级与分布级对齐。
• 提出一种与框架无关的分类体系，通过组件级分析与架构变体统一多样化的DUDA流程。

实验结果

研究问题

• RQ1 在不同视觉任务中，基于差异、对抗性与自监督的DUDA方法在性能与鲁棒性方面如何比较？
• RQ2 当前DUDA方法在面对复杂域偏移的真实世界场景时存在哪些关键局限性？
• RQ3 如何使域自适应对目标域中的对抗性样本与分布偏移保持鲁棒？
• RQ4 能否利用神经架构搜索自动发现适用于多样化环境下的域自适应最优网络结构？
• RQ5 学习关于视觉世界知识的‘常识’在多大程度上能超越特征对齐，提升域泛化能力？

主要发现

• 基于差异的方法通过最小化源域与目标域特征之间的分布差异，实现强大性能，尤其在使用域不变表征时表现突出。
• 对抗性判别方法通过域判别器有效对齐特征，但可能面临训练不稳定与模式崩溃的问题。
• 对抗性生成方法（如基于GAN的域自适应）在生成类似目标域的特征方面展现出潜力，但通常需要仔细的超参数调优。
• 基于自监督的方法通过利用旋转预测或对比学习等预训练任务，减少对标注数据的依赖，从而在监督有限的情况下提升泛化能力。
• 当前DUDA方法在涉及多个源域、部分标签重叠或开放集场景的真实世界设置中常表现失败，凸显了实际部署中的差距。
• 本文识别出模型鲁棒性、架构搜索与常识学习是提升真实世界域自适应中泛化能力与可靠性的关键未来方向。