[论文解读] A survey on domain adaptation theory: learning bounds and theoretical guarantees

Ievgen Redko, Emilie Morvant+3 more|arXiv (Cornell University)|Apr 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 76被引用 20

一句话总结

本综述全面概述了领域自适应理论基础，重点关注分布偏移下的学习界和泛化保证。它整合了多个统计学习框架的研究成果，强调了目标领域模型性能如何依赖于源域与目标域分布及标注函数的相似性，其关键贡献在于形式化了可适应性，并指出了开放的理论挑战。

ABSTRACT

All famous machine learning algorithms that comprise both supervised and semi-supervised learning work well only under a common assumption: the training and test data follow the same distribution. When the distribution changes, most statistical models must be reconstructed from newly collected data, which for some applications can be costly or impossible to obtain. Therefore, it has become necessary to develop approaches that reduce the need and the effort to obtain new labeled samples by exploiting data that are available in related areas, and using these further across similar fields. This has given rise to a new machine learning framework known as transfer learning: a learning setting inspired by the capability of a human being to extrapolate knowledge across tasks to learn more efficiently. Despite a large amount of different transfer learning scenarios, the main objective of this survey is to provide an overview of the state-of-the-art theoretical results in a specific, and arguably the most popular, sub-field of transfer learning, called domain adaptation. In this sub-field, the data distribution is assumed to change across the training and the test data, while the learning task remains the same. We provide a first up-to-date description of existing results related to domain adaptation problem that cover learning bounds based on different statistical learning frameworks.

研究动机与目标

• 提供领域自适应理论进展的统一、最新概述，该领域是迁移学习的核心子领域。
• 分析不同统计学习框架下的学习界，强调源域与目标域分布相似性的作用。
• 识别领域自适应中的开放理论问题，包括联合误差估计以及向开放集和异构设置的扩展。
• 弥合理论洞见与现实部署中数据分布偏移带来的实际挑战。

提出的方法

• 使用多种统计学习框架（包括风险最小化和差异度量基界）系统性回顾领域自适应中的理论结果。
• 根据数据分布偏移假设、标注函数假设以及有无目标域标注数据，对理论保证进行分类。
• 分析明确通过分布差异度量和标注函数相似性将源域与目标域误差关联起来的学习界。
• 聚焦三种关键学习设置：标准领域自适应、异构迁移学习（HTL）和无监督领域自适应。
• 为保持简洁，排除完整证明与数学推导，但提供完整书籍和原始论文的参考文献以供深入技术探究。
• 识别理论空白，如联合误差项的一致估计问题，以及开放集和异构领域自适应缺乏理论界。

实验结果

研究问题

• RQ1 在分布偏移下，领域自适应中的学习界如何形式化源域与目标域误差之间的关系？
• RQ2 在何种理论条件下，可确保从源域学到的知识能成功适应具有不同数据分布的目标域？
• RQ3 不同统计学习框架（如风险最小化、差异度量基界）如何促进对领域自适应泛化性的理解？
• RQ4 当前领域自适应界在联合误差估计和可适应性方面的理论局限性是什么？
• RQ5 在扩展理论保证至新兴设置（如开放集和异构领域自适应）方面，仍存在哪些开放问题？

主要发现

• 领域自适应中的学习界明确依赖于源域与目标域边缘分布及标注函数的相似性，构成了核心理论权衡。
• 在异构迁移学习（HTL）设置中，理论保证不包含边缘分布差异项，因为未提供源域训练数据——仅提供预训练的假设。
• HTL中适应的成功取决于源假设在目标分布上的性能，这使得在有利假设下，即使目标标注样本较少，也能实现有效学习。
• 与大多数领域自适应界不同，HTL界不包含可适应性项，因为学习者可访问目标域的标注数据。
• 一个主要开放问题是联合误差项的一致估计，该误差项衡量数据分布与标注分布的联合差异，目前仅有单一研究提出了潜在解决方案。
• 尽管实际相关性日益增长，但针对新兴设置（如非重叠类别下的开放集领域自适应和不同输入空间下的异构领域自适应）的理论分析仍基本缺失。