[论文解读] Information-theoretic analysis for transfer learning

Xuetong Wu, Jonathan H. Manton+2 more|arXiv (Cornell University)|May 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用 7

一句话总结

本文提出了一种信息论框架，用于分析迁移学习中的泛化误差和超额风险，其中训练数据和测试数据来自不同的分布。通过利用训练数据与学习到的假设之间的互信息，作者推导出比Rademacher复杂度更紧的泛化误差上界，尤其适用于经验风险最小化和噪声梯度下降算法，且上界明确依赖于算法和数据特性。

ABSTRACT

Transfer learning, or domain adaptation, is concerned with machine learning problems in which training and testing data come from possibly different distributions (denoted as $μ$ and $μ'$, respectively). In this work, we give an information-theoretic analysis on the generalization error and the excess risk of transfer learning algorithms, following a line of work initiated by Russo and Zhou. Our results suggest, perhaps as expected, that the Kullback-Leibler (KL) divergence $D(mu||mu')$ plays an important role in characterizing the generalization error in the settings of domain adaptation. Specifically, we provide generalization error upper bounds for general transfer learning algorithms and extend the results to a specific empirical risk minimization (ERM) algorithm where data from both distributions are available in the training phase. We further apply the method to iterative, noisy gradient descent algorithms, and obtain upper bounds which can be easily calculated, only using parameters from the learning algorithms. A few illustrative examples are provided to demonstrate the usefulness of the results. In particular, our bound is tighter in specific classification problems than the bound derived using Rademacher complexity.

研究动机与目标

• 解决训练数据和测试数据来自不同分布时迁移学习中的泛化误差挑战。
• 开发基于信息论的泛化误差和超额风险上界，通过KL散度显式考虑领域偏移。
• 提供依赖于数据和算法的上界，相较于传统基于Rademacher复杂度的上界，在特定分类问题中更为紧密。
• 将分析扩展至迭代式、带噪声的梯度下降算法，利用仅依赖于算法参数的可计算互信息上界。

提出的方法

• 该框架利用训练数据与输出假设之间的互信息来上界化泛化误差，遵循Russo和Zhou的信息论方法。
• 作者使用源分布与目标分布之间的Kullback-Leibler（KL）散度作为领域偏移的度量，推导出泛化误差的上界。
• 对于经验风险最小化（ERM），该方法结合源分布和目标分布的数据来上界化超额风险，使用数据依赖的领域差异项 $ d_{\mathcal{W}}(\mu,\mu') $ 的估计。
• 该方法将定理2应用于带噪声的迭代梯度下降算法，使得仅依赖于学习率和噪声方差等算法参数的互信息上界成为可能。
• 该方法将KL散度分解为特征和标签的条件分量，通过高斯和伯努利分布参数实现可计算性。
• 实验验证使用截断高斯数据和逻辑损失，互信息通过重复采样 $ W_{\text{ERM}} $ 和 $ Z_i $ 进行估计。

实验结果

研究问题

• RQ1 如何利用考虑分布偏移的信息论度量来界定迁移学习中的泛化误差？
• RQ2 在领域自适应中，训练数据与假设之间的互信息能否提供比Rademacher复杂度更紧的泛化误差上界？
• RQ3 在迁移学习中，针对迭代式、带噪声的梯度下降算法，所提出的上界行为如何？
• RQ4 源分布与目标分布之间的KL散度在表征迁移学习中泛化误差方面起什么作用？
• RQ5 在实际分类任务中，数据-算法依赖的上界能否优于假设空间全局范围的上界？

主要发现

• 所提出的基于信息论的泛化误差上界在特定分类问题中比基于Rademacher复杂度的上界更紧，尤其得益于其对数据和算法的依赖性。
• 基于互信息的上界比依赖于整个假设空间且适应性较差的Rademacher复杂度更能捕捉泛化误差的真实行为。
• 对于结合源和目标数据的ERM，通过使用数据依赖的领域差异估计 $ \hat{d}_{\mathcal{W}}(\mu,\mu') $ 推导出超额风险上界，相较于全局复杂度度量更具准确性。
• 该方法通过仅依赖学习率和噪声水平等算法参数，实现了对噪声梯度下降的可计算互信息上界。
• 结果表明，源分布与目标分布之间的KL散度是决定泛化误差的关键因素，且可显式分解为特征和标签分量。
• 实验结果证实，随着训练数据规模的增加，泛化误差和超额风险上界均收敛，验证了理论框架的有效性。