[论文解读] A Theoretical Analysis of Fine-tuning with Linear Teachers

Gal Shachaf, Alon Brutzkus+1 more|arXiv (Cornell University)|Jul 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 5

一句话总结

本文对线性教师在线性及深度线性回归模型中的微调进行了理论分析，表明样本复杂度取决于源-目标权重差与目标数据协方差特征向量之间的对齐程度。研究揭示了更深的网络能降低对任务间尺度差异的敏感性，并证明当源与目标权重之间的L2距离小于‖θ_T‖/√2时，微调优于随机初始化。

ABSTRACT

Fine-tuning is a common practice in deep learning, achieving excellent generalization results on downstream tasks using relatively little training data. Although widely used in practice, it is lacking strong theoretical understanding. We analyze the sample complexity of this scheme for regression with linear teachers in several architectures. Intuitively, the success of fine-tuning depends on the similarity between the source tasks and the target task, however measuring it is non trivial. We show that a relevant measure considers the relation between the source task, the target task and the covariance structure of the target data. In the setting of linear regression, we show that under realistic settings a substantial sample complexity reduction is plausible when the above measure is low. For deep linear regression, we present a novel result regarding the inductive bias of gradient-based training when the network is initialized with pretrained weights. Using this result we show that the similarity measure for this setting is also affected by the depth of the network. We further present results on shallow ReLU models, and analyze the dependence of sample complexity there on source and target tasks. We empirically demonstrate our results for both synthetic and realistic data.

研究动机与目标

• 为了从理论上理解为何微调在过参数化设置下仍能泛化良好，尤其是在低数据场景下。
• 为了形式化预训练（源任务）、目标任务与数据分布之间的相互作用，以确定微调的成功因素。
• 为了识别除源与目标权重间简单距离之外，决定微调样本复杂度的关键因素。
• 为了分析网络深度与数据协方差结构如何影响基于梯度的微调的归纳偏置。

提出的方法

• 在梯度下降微调下分析线性及深度线性神经网络，将源任务建模为预训练的线性教师。
• 利用Rademacher复杂度和无限宽度Hessian矩阵的逆矩阵（H^∞）推导泛化界，以量化测试误差。
• 提出一种新颖的源与目标任务相似性度量，该度量结合了目标数据协方差结构。
• 证明微调模型的风险被限制在6‖θ_T - θ_S‖₂/√n + O(√(log(n/λ₀δ)/n))以内，将性能与源与目标权重之间的L2距离联系起来。
• 证明更深的网络通过有效归一化预训练权重的影响，隐式抵消了源与目标任务间的尺度差异，从而降低了对初始化尺度的敏感性。
• 将结果扩展至浅层ReLU网络，首次为非线性设置下的微调提供了样本复杂度分析。

实验结果

研究问题

• RQ1 目标数据的协方差结构如何影响使用线性教师进行微调的样本复杂度？
• RQ2 网络深度在塑造深度线性模型中基于梯度的微调的归纳偏置方面起到什么作用？
• RQ3 在何种条件下，微调在泛化误差方面优于随机初始化？
• RQ4 源与目标权重向量之间的距离如何与数据分布相互作用，以决定微调的成功？
• RQ5 能否为非线性模型（如浅层ReLU网络）中的微调建立一个理论框架？

主要发现

• 当源与目标权重之差与目标数据协方差的低方差方向对齐时，微调的样本复杂度显著降低。
• 微调线性模型的泛化误差被限制在6‖θ_T - θ_S‖₂/√n + O(√(log(n/λ₀δ)/n))以内，当‖θ_T - θ_S‖ < ‖θ_T‖/√2时，其优于随机初始化。
• 更深的线性网络通过有效归一化预训练权重的影响，减少了源与目标任务间尺度不匹配的影响。
• 深度线性网络中梯度下降的归纳偏置取决于预训练权重与网络深度，从而倾向于选择与目标任务对齐的解。
• 对于浅层ReLU网络，本文首次建立了微调的样本复杂度结果，表明其依赖于源-目标任务相似性与数据分布。
• 实验评估验证了理论发现，确认目标协方差对齐与网络深度在微调成功中起着关键作用。