[论文解读] Domain Generalization: A Survey

Kaiyang Zhou, Ziwei Liu+3 more|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning被引用 26

一句话总结

本综述回顾领域泛化（domain generalization，DG）问题，定义 DG，将其与相关领域进行对比，分类方法、数据集和应用，并讨论评估与未来方向。

ABSTRACT

Generalization to out-of-distribution (OOD) data is a capability natural to humans yet challenging for machines to reproduce. This is because most learning algorithms strongly rely on the i.i.d.~assumption on source/target data, which is often violated in practice due to domain shift. Domain generalization (DG) aims to achieve OOD generalization by using only source data for model learning. Over the last ten years, research in DG has made great progress, leading to a broad spectrum of methodologies, e.g., those based on domain alignment, meta-learning, data augmentation, or ensemble learning, to name a few; DG has also been studied in various application areas including computer vision, speech recognition, natural language processing, medical imaging, and reinforcement learning. In this paper, for the first time a comprehensive literature review in DG is provided to summarize the developments over the past decade. Specifically, we first cover the background by formally defining DG and relating it to other relevant fields like domain adaptation and transfer learning. Then, we conduct a thorough review into existing methods and theories. Finally, we conclude this survey with insights and discussions on future research directions.

研究动机与目标

• 定义领域泛化（domain generalization，DG），并将其与领域自适应（domain adaptation）和迁移学习联系起来。
• 调查多源和单源 DG 设置，并分析在无目标数据访问的情况下 DG 为何重要。
• 按范式对 DG 方法进行分类（域对齐、元学习、数据增强、集成、自监督、等），并讨论它们的要求（是否需要域标签等）。
• 总结在计算机视觉、语音、自然语言处理、医学影像与强化学习等领域中常用的 DG 数据集和应用。
• 讨论评估实践、模型选择的陷阱以及未来的研究方向。

提出的方法

• 将 DG 方法组织为如域对齐、元学习、数据增强、集成学习、自监督学习、解耦表示、正则化以及强化学习技术等类别。
• 讨论对齐的对象（P(X)、P(X|Y)、P(Y|X)），以及对齐的方法（矩、对比损失、KL 散度、MMD、域对抗学习）。
• 描述每个类别下的代表性技术（如用于域对齐的对抗学习、暴露域移位的元学习、风格转换或学习到的增强，以及域特定组件）。
• 根据是否需要域标签来区分方法（多源 DG）或不需要域标签（单源 DG）等。
• 综合数据集、评估协议（leave-one-domain-out）以及评估 OOD 泛化的度量（平均性能与最坏情况性能）等。

实验结果

研究问题

• RQ1 在没有目标数据访问的情况下，哪些机制能使在多个或单一源域上训练的模型泛化到未见的目标域？
• RQ2 不同的 DG 范式（对齐、元学习、增强、集成、自监督）在处理跨域的分布偏移方面的比较？
• RQ3 评估 DG 方法的最佳实践，以及如何避免因模型选择偏差而产生过于乐观的结论？
• RQ4 哪些数据集及应用领域最能体现视觉、音频、NLP、医学影像和 RL 中的领域偏移与 DG 能力？
• RQ5 如何将 DG 概念与迁移学习、零样本学习等相关领域结合以提升泛化？

主要发现

• DG 研究表明，对齐源域分布或学习领域不变表示可以提高 OOD 泛化。
• 元学习、数据增强和集成策略在训练中提供互补的方式来暴露或模拟域移位。
• 强调诸如 leave-one-domain-out 验证以及同时报告平均性能和最坏情况性能等评估实践，以避免偏见性结论。
• DG 技术在包括目标识别、语义分割、行人再识别、语音识别、NLP、医学影像和 RL 等多种应用中得到应用。
• 本综述强调了 DG 与相关领域如 DA、TL、ZSL 和 RL 之间的细微关系，并讨论未来方向与潜在研究空白。