[论文解读] Domain Adaptation: Learning Bounds and Algorithms

Yishay Mansour, Mehryar Mohri+1 more|arXiv (Cornell University)|Feb 19, 2009

Domain Adaptation and Few-Shot Learning参考文献 32被引用 461

一句话总结

本文提出了一种专为任意损失函数的域自适应设计的新颖差异距离，可实现更紧致的一般化界，并推动了最小化经验差异的新算法。通过Rademacher复杂度提供理论保证，并开发了高效算法——0-1损失下采用线性规划，平方损失下采用半定规划，初步实验表明性能有所提升。

ABSTRACT

This paper addresses the general problem of domain adaptation which arises in a variety of applications where the distribution of the labeled sample available somewhat differs from that of the test data. Building on previous work by Ben-David et al. (2007), we introduce a novel distance between distributions, discrepancy distance, that is tailored to adaptation problems with arbitrary loss functions. We give Rademacher complexity bounds for estimating the discrepancy distance from finite samples for different loss functions. Using this distance, we derive novel generalization bounds for domain adaptation for a wide family of loss functions. We also present a series of novel adaptation bounds for large classes of regularization-based algorithms, including support vector machines and kernel ridge regression based on the empirical discrepancy. This motivates our analysis of the problem of minimizing the empirical discrepancy for various loss functions for which we also give novel algorithms. We report the results of preliminary experiments that demonstrate the benefits of our discrepancy minimization algorithms for domain adaptation.

研究动机与目标

• 解决训练数据与测试数据遵循不同但相关分布的域自适应问题。
• 开发一种通用的度量——差异距离，将 d_A 距离扩展至任意损失函数。
• 利用Rademacher复杂度推导适用于多样化损失函数的域自适应数据依赖一般化界。
• 设计并分析最小化经验差异的算法，实现对源数据的重加权以获得更好的自适应效果。
• 为0-1损失和平方损失设置提供高效的优化方法——线性规划与半定规划，用于差异最小化。

提出的方法

• 提出一种通用差异距离，将 d_A 距离推广至任意损失函数，捕捉与自适应相关的分布差异。
• 基于Rademacher复杂度推导学习界，其依赖于源分布与目标分布之间的经验差异。
• 证明基于源数据与目标数据训练的假设在点对点损失上的差异被经验差异所界定。
• 将域自适应重新表述为重加权问题：在相同支持上最小化源与目标经验分布之间的差异。
• 对于0-1损失，将差异最小化问题建模为线性规划（LP），在一维情况下可通过组合算法高效求解。
• 对于平方损失，证明问题可简化为半定规划（SDP），可通过凸优化在多项式时间内求解。

实验结果

研究问题

• RQ1 能否为域自适应定义一种适用于任意损失函数（而不仅限于0-1分类）的通用差异距离？
• RQ2 如何利用Rademacher复杂度为具有任意损失函数的域自适应推导更紧致、数据依赖的一般化界？
• RQ3 最小化源与目标分布之间的经验差异在多大程度上能实际提升泛化性能？
• RQ4 能否利用凸优化技术高效求解0-1损失与平方损失下的差异最小化问题？
• RQ5 差异距离与在源数据与目标数据上训练的模型之间的性能差距之间存在何种理论联系？

主要发现

• 该差异距离推广了 d_A 距离，在0-1分类情况下与之重合，同时适用于回归及其他损失函数。
• 利用Rademacher复杂度推导出域自适应的一般化界，获得更紧致的数据依赖界，其依赖于经验差异。
• 在源数据与目标数据上训练的假设之间的点对点损失差异被经验差异距离所界定。
• 对于0-1损失，差异最小化问题被转化为线性规划，并在一维情况下通过组合算法求解。
• 对于平方损失，问题被重述为半定规划（SDP），可在多项式时间内求解。
• 初步实验表明，差异最小化能提升自适应性能，验证了理论框架的有效性。