[论文解读] Gradual Tuning: a better way of Fine Tuning the parameters of a Deep Neural Network

Guglielmo Montone, J. Kevin Ο’Regan+1 more|arXiv (Cornell University)|Nov 28, 2017

Neural Networks and Applications参考文献 4被引用 5

一句话总结

本文提出渐进微调（Gradual Tuning），一种从输出层向输入层逐层更新网络参数的微调方法，在迁移学习中显著减少了灾难性遗忘，同时保持或提升了新任务的性能。该方法通过避免参数的突然更新，比标准微调更好地保留了初始任务的特征。

ABSTRACT

In this paper we present an alternative strategy for fine-tuning the parameters of a network. We named the technique Gradual Tuning. Once trained on a first task, the network is fine-tuned on a second task by modifying a progressively larger set of the network's parameters. We test Gradual Tuning on different transfer learning tasks, using networks of different sizes trained with different regularization techniques. The result shows that compared to the usual fine tuning, our approach significantly reduces catastrophic forgetting of the initial task, while still retaining comparable if not better performance on the new task.

研究动机与目标

• 解决迁移学习中的灾难性遗忘问题，即在新任务上微调时导致先前学习任务性能下降的问题。
• 探究渐进的、逐层的参数更新策略是否能缓解遗忘，同时保持新任务的性能。
• 在多种迁移学习场景（包括相似和不相似任务）下，将渐进微调与标准微调进行比较。
• 评估初始特征质量以及多任务预训练对渐进微调有效性的影响。

提出的方法

• 渐进微调初始化一个在任务A上预训练的网络，并为任务B添加一个随机初始化权重的新输出层。
• 在任务B上的训练从仅更新输出层开始；当性能趋于稳定后，启用最近的隐藏层进行更新。
• 此过程按顺序逐层向输入层推进，直到所有层均被更新。
• 该方法与标准微调形成对比，后者从一开始就同时更新所有参数。
• 实验使用具有不同架构的前馈网络，并在MNIST和合成二分类任务上应用L1正则化、Dropout或无正则化。
• 性能在多个运行和超参数设置下，分别在任务A（遗忘）和任务B（学习）上进行评估。

实验结果

研究问题

• RQ1 与标准微调相比，渐进微调是否在迁移学习中减少了灾难性遗忘？
• RQ2 在新任务（任务B）上，渐进微调与标准微调的性能表现如何比较？
• RQ3 渐进微调的有效性是否取决于任务A与任务B之间的相似性？
• RQ4 在多个初始任务上进行预训练，是否会影响遗忘程度以及渐进微调的收益？
• RQ5 渐进微调是否能更好地保留初始任务特征，从而提升性能保留？

主要发现

• 在所有实验中，渐进微调显著减少了灾难性遗忘，遗忘程度相比标准微调降低了1.5至5倍。
• 在MNIST任务中（数字0–4 vs. 5–9），在无正则化条件下，渐进微调在任务B上的误差为3.46 ± 0.12，优于标准微调的2.68 ± 0.11。
• 在合成任务中，当任务B与任务A差异较大时（如atl任务），在无正则化条件下，渐进微调将任务A（acl）的遗忘率从标准微调的17.6 ± 0.7降低至11.8 ± 0.1。
• 当在五个初始任务上进行预训练时，使用渐进微调训练的网络在任务A（acl）上的遗忘程度低于在单一任务上预训练的网络，表明其具有更好的特征保留能力。
• 在任务相似性较高且无正则化的情况下，渐进微调在任务B上的性能与标准微调相当或略优。
• 当新任务与初始任务差异较大时，渐进微调的优势最为显著，表明其在多样化迁移场景中具有强鲁棒性。