[论文解读] The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression

Yehuda Dar, Daniel LeJeune+1 more|arXiv (Cornell University)|Mar 9, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文通过将目标模型参数正则化以保持与预训练源参数的接近，分析了过参数化线性回归中的迁移学习。在任务相似性足够高的前提下，该研究从理论上证明了最优调参的迁移学习可超越独立目标任务的最小均方误差（MMSE）解，解决双下降峰值问题，并将解空间扩展至标准岭回归之外。

ABSTRACT

We study a fundamental transfer learning process from source to target linear regression tasks, including overparameterized settings where there are more learned parameters than data samples. The target task learning is addressed by using its training data together with the parameters previously computed for the source task. We define a transfer learning approach to the target task as a linear regression optimization with a regularization on the distance between the to-be-learned target parameters and the already-learned source parameters. We analytically characterize the generalization performance of our transfer learning approach and demonstrate its ability to resolve the peak in generalization errors in double descent phenomena of the minimum L2-norm solution to linear regression. Moreover, we show that for sufficiently related tasks, the optimally tuned transfer learning approach can outperform the optimally tuned ridge regression method, even when the true parameter vector conforms to an isotropic Gaussian prior distribution. Namely, we demonstrate that transfer learning can beat the minimum mean square error (MMSE) solution of the independent target task. Our results emphasize the ability of transfer learning to extend the solution space to the target task and, by that, to have an improved MMSE solution. We formulate the linear MMSE solution to our transfer learning setting and point out its key differences from the common design philosophy to transfer learning.

研究动机与目标

• 理解过参数化线性回归中迁移学习的泛化性能，特别是双下降区域的表现。
• 探究即使在各向同性高斯先验下，迁移学习是否仍可超越最优岭回归解。
• 表征此设置下迁移学习的线性MMSE解，并与传统迁移学习设计进行对比。
• 分析源与目标参数间正则化对高维设置下泛化误差的影响。
• 证明迁移学习可扩展解空间，从而在标准基准之上实现更优的均方误差性能。

提出的方法

• 提出一种迁移学习框架，其中目标模型通过带正则化的目标函数进行训练，以惩罚其与源任务学习参数的偏离。
• 使用与目标与源参数之间ℓ₂距离平方成比例的正则化项，引入可调超参数α_TL。
• 利用随机矩阵理论和各向同性先验下的渐近分析，推导迁移学习估计器的期望泛化误差。
• 应用随机矩阵理论中的迹近似（引理E.1），在高维设置下计算期望误差的极限表达式。
• 通过最小化源与目标数据联合分布下的均方误差，推导目标任务参数向量的线性MMSE估计器。
• 将迁移学习解与最小ℓ₂-范数解及岭回归进行比较，展示其占优的条件。

实验结果

研究问题

• RQ1 在真实参数服从各向同性高斯先验的情况下，迁移学习是否仍可超越线性回归中的最优岭回归解？
• RQ2 迁移学习如何影响过参数化线性回归中的双下降行为，特别是泛化误差峰值？
• RQ3 在此设置下，迁移学习的线性MMSE解是什么？它与标准迁移学习启发式方法有何不同？
• RQ4 在何种条件下，迁移学习的泛化性能优于孤立学习目标任务？
• RQ5 迁移学习是否能以某种方式扩展解空间，从而在标准估计器之外实现更优的最小均方误差？

主要发现

• 通过最优调参的正则化，迁移学习可超越独立目标任务的最小均方误差（MMSE）解，即使在各向同性高斯先验下亦成立。
• 所提出的迁移学习方法解决了过参数化线性回归中最小ℓ₂-范数解的双下降现象中的泛化误差峰值问题。
• 推导出迁移学习的线性MMSE估计器，并表明其与常见的基于正则化的迁移学习方法存在根本性差异。
• 在高维极限下，利用随机矩阵理论的迹近似，对迁移学习的期望泛化误差进行了理论表征。
• 当任务足够相关时，通过恰当的α_TL调参，迁移学习的期望误差低于岭回归，证明其在MMSE意义下的优越性。
• 通过迁移学习扩展了目标任务的解空间，从而实现了超越标准正则化方法的更优估计性能。