[论文解读] Improved Regularization and Robustness for Fine-tuning in Neural Networks

Dongyue Li, Hongyang R. Zhang|arXiv (Cornell University)|Nov 8, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

该论文提出 RegSL，一种正则化自标签方法，通过结合逐层权重正则化与动态标签校正，提升微调的鲁棒性与泛化能力。通过约束每层的权重更新并利用模型预测校正误标样本，RegSL 有效降低过拟合与标签记忆现象，在图像任务上相比基线模型平均提升 1.76% 准确率，在噪声数据集上提升 3.56%。

ABSTRACT

A widely used algorithm for transfer learning is fine-tuning, where a pre-trained model is fine-tuned on a target task with a small amount of labeled data. When the capacity of the pre-trained model is significantly larger than the size of the target dataset, fine-tuning is prone to overfitting and memorizing the training labels. Hence, a crucial question is to regularize fine-tuning and ensure its robustness against noise. To address this question, we begin by analyzing the generalization properties of fine-tuning. We present a PAC-Bayes generalization bound that depends on the distance traveled in each layer during fine-tuning and the noise stability of the fine-tuned model. We empirically measure these quantities. Based on the analysis, we propose regularized self-labeling -- the interpolation between regularization and self-labeling methods, including (i) layer-wise regularization to constrain the distance traveled in each layer; (ii) self-label-correction and label-reweighting to correct mislabeled data points (that the model is confident) and reweight less confident data points. We validate our approach on an extensive collection of image and text datasets using multiple pre-trained model architectures. Our approach improves baseline methods by 1.76% (on average) for seven image classification tasks and 0.75% for a few-shot classification task. When the target data set includes noisy labels, our approach outperforms baseline methods by an average of 3.56% in two noisy settings.

研究动机与目标

• 解决预训练模型远大于目标数据集时微调过程中的过拟合与标签记忆问题。
• 提升迁移学习中对标签噪声的鲁棒性，尤其在弱监督引入错误的情况下。
• 开发一种在低数据场景下平衡正则化与自标签机制以实现更好泛化性能的方法。
• 通过 PAC-Bayesian 边界对微调进行理论分析，建立模型稳定性与权重偏移之间的泛化关联。
• 在多样化视觉与文本任务中（包括少样本与医学影像设置）实证验证该方法的有效性。

提出的方法

• 提出一种基于 PAC-Bayesian 的泛化边界，其依赖于微调过程中每层权重移动的 ℓ₂ 距离以及模型的噪声稳定性。
• 引入逐层正则化，约束每层权重更新的 ℓ₂ 范数，从而减少过拟合。
• 采用自标签校正机制，对模型高度自信但标签错误的样本进行重新标注。
• 应用标签重加权策略，在训练过程中降低低置信度样本预测的权重。
• 采用混合训练策略，根据模型置信度在标准微调与自标签更新之间交替进行。
• 同时采用 ℓ² 与 MARS 范数进行权重约束，实验表明 ℓ² 在性能上表现相当或更优。

实验结果

研究问题

• RQ1 微调过程中每层权重移动的距离如何影响泛化性能？
• RQ2 微调后模型的噪声稳定性能否预测其泛化行为？
• RQ3 将正则化与自标签结合是否能提升微调对标签噪声的鲁棒性？
• RQ4 不同组件（逐层正则化、标签校正、标签移除）对性能的贡献如何？
• RQ5 所提方法是否能在不同架构与数据模态（包括视觉变换器与少样本学习）中实现泛化？

主要发现

• 与基线微调相比，RegSL 在七个图像分类基准上平均提升 1.76% 准确率。
• 在噪声数据集上，RegSL 相比基线平均提升 3.56% 准确率，显著降低对错误标签的记忆。
• 逐层正则化缩小了训练与测试准确率之间的泛化差距，表明泛化能力更强。
• 在 20% 噪声条件下，第 21 个周期时，通过校正与重加权的自标签机制使错误重标样本数量减少 74%（从 42 个降至 11 个）。
• 在高噪声率（40% 及以上）时，标签校正组件最为关键；而在低噪声水平下，正则化更为有效。
• 该方法可泛化至视觉变换器、医学图像分类（ChestX-ray14）以及少样本 NLP 任务，在少样本分类任务上性能提升 0.75%。