[论文解读] Robust Fine-Tuning of Deep Neural Networks with Hessian-based Generalization Guarantees

Haotian Ju, Dongyue Li+1 more|arXiv (Cornell University)|Jun 6, 2022

Machine Learning and Data Classification被引用 6

一句话总结

本文提出了一种基于海森矩阵的微调深度神经网络泛化度量，表明其与经验泛化差距具有强相关性。该研究引入了一种结合海森信息的PAC-Bayesian泛化界，并开发了一种鲁棒的微调算法，在标签噪声环境下可减少过拟合，在图像任务上相比先前方法实现了3.26%的平均准确率提升。

ABSTRACT

We consider fine-tuning a pretrained deep neural network on a target task. We study the generalization properties of fine-tuning to understand the problem of overfitting, which has often been observed (e.g., when the target dataset is small or when the training labels are noisy). Existing generalization measures for deep networks depend on notions such as distance from the initialization (i.e., the pretrained network) of the fine-tuned model and noise stability properties of deep networks. This paper identifies a Hessian-based distance measure through PAC-Bayesian analysis, which is shown to correlate well with observed generalization gaps of fine-tuned models. Theoretically, we prove Hessian distance-based generalization bounds for fine-tuned models. We also describe an extended study of fine-tuning against label noise, where overfitting remains a critical problem. We present an algorithm and a generalization error guarantee for this algorithm under a class conditional independent noise model. Empirically, we observe that the Hessian-based distance measure can match the scale of the observed generalization gap of fine-tuned models in practice. We also test our algorithm on several image classification tasks with noisy training labels, showing gains over prior methods and decreases in the Hessian distance measure of the fine-tuned model.

研究动机与目标

• 理解微调深度神经网络中的过拟合现象，特别是在训练数据量小或标签存在噪声时。
• 开发一种数据相关的泛化度量，以比仅基于初始权重距离的方法更好地捕捉微调性能。
• 设计一种鲁棒的微调算法，以在类别条件标签噪声下提升泛化能力。
• 通过PAC-Bayesian分析与微扰理论，为基于海森矩阵的度量提供理论依据。
• 通过实证验证，表明最小化海森距离可改善泛化性能与模型鲁棒性。

提出的方法

• 提出一种基于海森矩阵的距离度量，利用每层权重的损失海森矩阵，定义为 $ \sum_{i=1}^{L} \sqrt{ \max_{(x,y)\sim\mathcal{D}} v_i^\top \mathbf{H}_i^+ v_i / n } $，其中 $ \mathbf{H}_i^+ $ 为仅保留非负特征值的截断海森矩阵。
• 推导出一种适用于微调模型的PAC-Bayesian泛化界，该界结合了基于海森矩阵的距离度量，理论证明其与泛化误差存在强相关性。
• 提出一种鲁棒微调算法，结合统计一致性损失与分层距离正则化，基于类别条件独立噪声模型。
• 利用海森-向量乘积计算，在训练过程中高效估计基于海森矩阵的度量，而无需完整计算海森矩阵。
• 将方法应用于带有噪声标签的图像分类（ResNet-18/101）与自然语言处理（RoBERTa-Base）任务，通过交叉验证调优超参数。
• 采用基于混淆矩阵的标签噪声校正方法，并分层集成正则化约束，引入缩放因子 $ \gamma $。

实验结果

研究问题

• RQ1 基于海森矩阵的距离度量是否能比仅基于初始权重距离的方法更准确地预测微调深度网络的泛化差距？
• RQ2 在泛化界中引入海森信息是否能提升微调任务中理论与实证性能？
• RQ3 基于海森矩阵的正则化算法是否能有效缓解高标签噪声率下的微调过拟合？
• RQ4 在实践中，该海森矩阵度量与其它基于海森矩阵的泛化度量相比表现如何？
• RQ5 最小化海森距离在多大程度上能提升模型在噪声与标准微调基准上的准确率？

主要发现

• 基于海森矩阵的距离度量与微调模型中观察到的泛化差距具有强相关性，优于传统的基于初始权重距离的度量方法。
• 所提出的结合海森信息的PAC-Bayesian泛化界在理论上提供了比先前界更紧致、更精确的保证。
• 在六项带有程序化标签噪声的图像分类任务中，该算法相比现有方法实现了平均Top-1准确率3.26%的提升。
• 该方法在极端标签噪声下依然保持鲁棒，即使在类别条件噪声率达60%时也能实现稳定性能。
• 海森度量 $ \sqrt{\mathcal{H}/n} $ 始终小于分层海森度量，表明在优化时可能带来更好的泛化性能。
• 实证结果表明，当模型泛化能力更强时，海森距离度量会减小，验证了其作为泛化误差代理指标的有效性。