[论文解读] Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks

Mohammadreza M. Kalan, Zalan Fabian+2 more|arXiv (Cornell University)|Jan 1, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文为线性模型和单隐藏层神经网络模型中的迁移学习建立了极小化极大下界，量化了源数据和目标数据规模以及任务相似性之间的根本权衡。研究证明，当任务足够相似时，迁移学习可显著降低目标泛化误差，但仅受限于数据量和任务差异性的统计极限。

ABSTRACT

Transfer learning has emerged as a powerful technique for improving the performance of machine learning models on new domains where labeled training data may be scarce. In this approach a model trained for a source task, where plenty of labeled training data is available, is used as a starting point for training a model on a related target task with only few labeled training data. Despite recent empirical success of transfer learning approaches, the benefits and fundamental limits of transfer learning are poorly understood. In this paper we develop a statistical minimax framework to characterize the fundamental limits of transfer learning in the context of regression with linear and one-hidden layer neural network models. Specifically, we derive a lower-bound for the target generalization error achievable by any algorithm as a function of the number of labeled source and target data as well as appropriate notions of similarity between the source and target tasks. Our lower bound provides new insights into the benefits and limitations of transfer learning. We further corroborate our theoretical finding with various experiments.

研究动机与目标

• 理解在标注目标数据有限的回归任务中，迁移学习的根本统计极限。
• 形式化迁移学习性能与源任务和目标任务之间相似性之间的关系。
• 推导线性模型和单隐藏层神经网络模型中迁移学习算法泛化误差的极小化极大下界。
• 基于数据可得性和任务相似性，为迁移学习何时有益、何时无益提供理论依据。
• 通过在合成数据和真实世界数据上的实验，验证理论发现。

提出的方法

• 构建一个统计极小化极大框架，用于分析回归任务中迁移学习的最坏情况泛化误差。
• 基于已标注的源样本和目标样本数量，推导出任何算法可达到的目标风险的下界。
• 通过参数化的源任务和目标任务回归函数之间的距离度量，引入任务相似性的概念。
• 应用统计决策理论和极小化极大估计的工具，刻画迁移学习的根本极限。
• 利用该框架，从同一理论视角分析线性模型和单隐藏层神经网络。
• 通过在合成数据和基准数据集上的受控实验，对理论边界进行经验验证。

实验结果

研究问题

• RQ1 线性模型和单隐藏层神经网络模型中，迁移学习的泛化误差的根本下界是什么？
• RQ2 已标注的源样本和目标样本数量如何影响迁移学习中可实现的泛化误差？
• RQ3 任务相似性在决定迁移学习收益方面发挥什么作用？
• RQ4 迁移学习的理论极限能否独立于特定算法进行刻画？
• RQ5 在何种条件下，迁移学习无法使泛化性能优于仅从目标数据学习？

主要发现

• 本文建立了依赖于已标注源样本和目标样本数量的目标泛化误差的极小化极大下界。
• 该下界表明，只有当源任务与目标任务足够相似时，迁移学习才能将目标风险降低到某一极限。
• 当源任务与目标任务高度相似时，与仅从目标数据学习相比，迁移学习可显著降低泛化误差。
• 理论边界揭示，增加源数据量可提升性能，但仅在任务差异性成为主导瓶颈之前有效。
• 实证结果证实，推导出的下界是紧致的，并准确反映了迁移学习设置下的实际性能趋势。
• 分析表明，即使使用最优算法，迁移学习在统计上仍受限于数据稀缺性和任务差异性。