[论文解读] Generalization Bounds for Domain Adaptation

Chao Zhang, Lei Zhang+1 more|arXiv (Cornell University)|Apr 4, 2013

Domain Adaptation and Few-Shot Learning被引用 27

一句话总结

本文通过引入基于积分概率度量（IPM）的新框架来衡量领域差异，建立了在分布偏移条件下领域自适应的一般化边界。利用一致熵和Rademacher复杂度推导出Hoeffding型不等式与对称化不等式，实现了对多源及源-目标联合领域自适应设置下渐近收敛性与收敛速率边界的分析。

ABSTRACT

In this paper, we provide a new framework to obtain the generalization bounds of the learning process for domain adaptation, and then apply the derived bounds to analyze the asymptotical convergence of the learning process. Without loss of generality, we consider two kinds of representative domain adaptation: one is with multiple sources and the other is combining source and target data. In particular, we use the integral probability metric to measure the difference between two domains. For either kind of domain adaptation, we develop a related Hoeffding-type deviation inequality and a symmetrization inequality to achieve the corresponding generalization bound based on the uniform entropy number. We also generalized the classical McDiarmid's inequality to a more general setting where independent random variables can take values from different domains. By using this inequality, we then obtain generalization bounds based on the Rademacher complexity. Afterwards, we analyze the asymptotic convergence and the rate of convergence of the learning process for such kind of domain adaptation. Meanwhile, we discuss the factors that affect the asymptotic behavior of the learning process and the numerical experiments support our theoretical findings as well.

研究动机与目标

• 为解决经典统计学习理论中假设源域与目标域数据分布相同这一局限性，提出在分布偏移条件下领域自适应的一般化边界。
• 分析在训练数据与测试数据来自不同分布的领域自适应场景中，学习过程的渐近收敛性与收敛速率。
• 提出一个统一框架，整合领域差异度量、复杂度度量与集中不等式，专用于领域自适应。
• 将McDiarmid不等式推广至处理来自不同领域的独立随机变量，从而支持更紧致的基于Rademacher复杂度的边界。
• 通过数值实验验证理论结果，并与标准i.i.d.学习假设下的结果进行比较。

提出的方法

• 使用积分概率度量（IPM）量化源域与目标域之间的分布差异，替代标准的i.i.d.假设。
• 利用鞅方法为领域自适应开发Hoeffding型偏差不等式，适配源域与目标域数据的非i.i.d.特性。
• 提出一种结合IPM的对称化不等式，以反映领域差异，从而获得更紧致的一般化边界。
• 应用一致熵数，推导出多源及源-目标联合领域自适应设置下的一般化边界。
• 将McDiarmid不等式推广至允许来自不同领域的独立随机变量，支持基于Rademacher复杂度的边界。
• 结合一致熵与Rademacher复杂度推导一般化边界，实现在领域偏移下的收敛速率分析。

实验结果

研究问题

• RQ1 当源域与目标域遵循不同分布时，如何推导出领域自适应的一般化边界？
• RQ2 积分概率度量（IPM）在衡量领域差异与改进一般化边界中起到什么作用？
• RQ3 学习过程的收敛速率如何依赖于领域偏移、样本量与函数类复杂度？
• RQ4 McDiarmid不等式能否被推广以处理来自不同领域的独立随机变量，从而支持更紧致的基于Rademacher复杂度的边界？
• RQ5 领域自适应的理论收敛特性与标准i.i.d.假设下的收敛特性相比如何？

主要发现

• 本文使用IPM衡量领域差异，建立了领域自适应的一般化边界，边界大小依赖于函数类的复杂度与领域偏移的大小。
• 对于多源及源-目标联合领域自适应设置，推导的边界表明，一般化误差的衰减速率取决于样本量$N_S$与$N_T$以及IPM距离$D_{\fF}(S,T)$。
• 当领域差异$D_{\fF}(S,T)$有界且函数类具有有限一致熵或Rademacher复杂度时，学习过程的渐近收敛性得以保证。
• 在标准假设下，收敛速率被证明为$O(1/\text{min}(N_S, N_T))$，当领域偏移较小时收敛速率进一步提升。
• 数值实验支持理论发现，表明所提出的边界能准确反映领域自适应设置下的一般化误差。
• 广义的McDiarmid不等式在非i.i.d.设置下支持更紧致的基于Rademacher复杂度的边界，优于领域自适应中的经典边界。