[论文解读] Deep Unsupervised Domain Adaptation: A Review of Recent Advances and Perspectives

Xiaofeng Liu, Chaehwa Yoo+5 more|arXiv (Cornell University)|Aug 15, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文对深度无监督域自适应（UDA）进行了全面综述，整合了对抗训练、自训练和域对齐等方法的最新进展。系统比较了计算机视觉、自然语言处理、医学影像和时间序列分析等应用领域中的技术，阐明了与域泛化和分布外检测等相关任务的联系，同时指出了UDA中的关键局限性及未来研究方向。

ABSTRACT

Deep learning has become the method of choice to tackle real-world problems in different domains, partly because of its ability to learn from data and achieve impressive performance on a wide range of applications. However, its success usually relies on two assumptions: (i) vast troves of labeled datasets are required for accurate model fitting, and (ii) training and testing data are independent and identically distributed. Its performance on unseen target domains, thus, is not guaranteed, especially when encountering out-of-distribution data at the adaptation stage. The performance drop on data in a target domain is a critical problem in deploying deep neural networks that are successfully trained on data in a source domain. Unsupervised domain adaptation (UDA) is proposed to counter this, by leveraging both labeled source domain data and unlabeled target domain data to carry out various tasks in the target domain. UDA has yielded promising results on natural image processing, video analysis, natural language processing, time-series data analysis, medical image analysis, etc. In this review, as a rapidly evolving topic, we provide a systematic comparison of its methods and applications. In addition, the connection of UDA with its closely related tasks, e.g., domain generalization and out-of-distribution detection, has also been discussed. Furthermore, deficiencies in current methods and possible promising directions are highlighted.

研究动机与目标

• 提供深度无监督域自适应（UDA）方法及其应用的系统性与最新综述。
• 在多样化领域中对比和对照主要UDA技术，包括对抗训练、自训练和域对齐。
• 阐明UDA与域泛化和分布外检测等相关任务之间的联系。
• 识别UDA方法当前的局限性，并提出有前景的未来研究方向。
• 提供一个整合理论基础与实际应用的UDA整体视角。

提出的方法

• 本文将UDA方法划分为四大主要范式：统计矩匹配（例如，最大均值差异）、域风格迁移、自训练和特征级对抗学习。
• 分析对抗训练如何通过最小化潜在空间中的域差异来对齐源域和目标域特征。
• 综述讨论了利用置信度高的预测对无标签目标数据进行伪标签化以迭代优化模型预测的自训练策略。
• 研究域对齐技术，通过匹配源域和目标域之间的统计矩（例如，均值和协方差）来减少域偏移。
• 评估基于归一化和基于集成的方法在提升域自适应鲁棒性方面的效果。
• 突出介绍了如循环一致性自适应和生成建模等新兴技术在学习域不变表示方面的应用。

实验结果

研究问题

• RQ1 在多样化领域中，不同UDA方法（如对抗训练、自训练和域对齐）在性能和泛化能力方面如何比较？
• RQ2 UDA、域泛化和分布外检测之间在理论和实践上的关键异同点是什么？
• RQ3 当前UDA方法在处理复杂域偏移方面存在哪些不足，特别是在医学影像和时间序列数据中？
• RQ4 如何在目标域标注数据有限的真实场景中有效应用无监督域自适应？
• RQ5 在提升UDA模型的鲁棒性、泛化能力和可扩展性方面，最具前景的未来研究方向是什么？

主要发现

• 对抗训练和自训练等UDA方法在自然图像处理、视频分析和医学图像分割中表现出色。
• 通过矩匹配（例如，MMD）和相关性对齐（CorrA）实现的域对齐能有效减少特征空间中的域偏移。
• 结合置信度正则化的自训练通过在迭代优化过程中过滤低置信度伪标签，提升了模型鲁棒性。
• 在医学影像中，采用模型无关学习和目标特定归一化的协作式UDA方法实现了最先进的分割性能。
• 尽管已取得进展，当前UDA方法在大规模域偏移场景下仍表现不佳，尤其是在分布外设置和复杂真实数据中。
• 综述指出，亟需更统一的框架，将UDA与域泛化和OOD检测相结合，以实现更稳健的部署。