[论文解读] A survey on domain adaptation theory

Ievgen Redko, Emilie Morvant+3 more|arXiv (Cornell University)|Apr 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 18

一句话总结

本综述对领域自适应这一迁移学习的关键子领域进行了全面的理论分析，其中训练数据与测试数据遵循不同的分布，但学习任务保持不变。该综述整合了多种统计学习框架下的最先进泛化界，为分布偏移场景下的泛化提供了统一的理解。

ABSTRACT

All famous machine learning algorithms that comprise both supervised and semi-supervised learning work well only under a common assumption: the training and test data follow the same distribution. When the distribution changes, most statistical models must be reconstructed from newly collected data, which for some applications can be costly or impossible to obtain. Therefore, it has become necessary to develop approaches that reduce the need and the effort to obtain new labeled samples by exploiting data that are available in related areas, and using these further across similar fields. This has given rise to a new machine learning framework known as transfer learning: a learning setting inspired by the capability of a human being to extrapolate knowledge across tasks to learn more efficiently. Despite a large amount of different transfer learning scenarios, the main objective of this survey is to provide an overview of the state-of-the-art theoretical results in a specific, and arguably the most popular, sub-field of transfer learning, called domain adaptation. In this sub-field, the data distribution is assumed to change across the training and the test data, while the learning task remains the same. We provide a first up-to-date description of existing results related to domain adaptation problem that cover learning bounds based on different statistical learning frameworks.

研究动机与目标

• 为解决训练数据与测试数据之间分布偏移的问题，该问题会削弱标准机器学习模型的性能。
• 通过利用源域中的相关数据，减少在新领域中对昂贵或不可用标注数据的依赖。
• 系统性地概述领域自适应领域内理论进展，重点聚焦于泛化界。
• 在统计学习框架内统一并更新现有的理论结果，以支持领域自适应的理论发展。
• 支持在现实世界数据分布偏移条件下，开发更具鲁棒性和泛化能力的模型。

提出的方法

• 调研并分类现有的领域自适应理论框架，包括基于风险最小化和泛化界的框架。
• 分析来自不同统计学习范式（如PAC-Bayes、Rademacher复杂度和基于差异的界）推导出的泛化界。
• 在多种领域自适应设置（包括协变量偏移、概念偏移和先验偏移）之间比较理论结果。
• 综合多种理论方法的见解，以识别在分布偏移下泛化的共同原则与局限性。
• 将领域自适应视为一种迁移学习问题，其中知识在具有不同数据分布的领域之间迁移。
• 强调分布差异度量（如领域差异）在推导泛化保证中的作用。

实验结果

研究问题

• RQ1 在分布偏移条件下，支持领域自适应中泛化的关键理论框架有哪些？
• RQ2 不同的统计学习框架（如PAC-Bayes、Rademacher复杂度）如何为领域自适应中的泛化界推导做出贡献？
• RQ3 现有领域自适应理论结果的基本假设和局限性是什么？
• RQ4 分布偏移（如协变量偏移或概念偏移）如何影响理论界的有效性与紧致性？
• RQ5 从多样化的理论方法中可以总结出哪些统一原则？

主要发现

• PAC-Bayes、Rademacher复杂度和基于差异的界等理论框架为理解领域自适应中的泛化提供了严谨的理论基础。
• 领域自适应中的泛化界对源域与目标域之间分布差异的程度非常敏感。
• 理论结果表明，即使没有目标域的标注数据，当领域差异最小时，也能获得更紧致的泛化界。
• 现有理论分析表明，领域自适应模型的性能在很大程度上取决于特征分布与标签分布在不同领域间的对齐程度。
• 尽管已有进展，理论保证通常依赖于强假设，如有界差异或对数据的特定结构约束。
• 该综述指出了当前理论中的缺口，特别是在处理复杂、现实世界的分布偏移（超出简单协变量偏移）方面的不足。