[论文解读] Meta-learnt priors slow down catastrophic forgetting in neural networks

Giacomo Spigler|arXiv (Cornell University)|Sep 9, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用 9

一句话总结

该论文提出SeqFOMAML，一种元学习算法，通过在任务序列而非单个任务上预训练神经网络，缓解灾难性遗忘。通过优化初始参数以实现快速适应和跨序列任务的长期保留，SeqFOMAML显著减少了遗忘，如Omniglot和MiniImageNet基准测试中先前学习任务的准确率衰减更慢所示。

ABSTRACT

Current training regimes for deep learning usually involve exposure to a single task / dataset at a time. Here we start from the observation that in this context the trained model is not given any knowledge of anything outside its (single-task) training distribution, and has thus no way to learn parameters (i.e., feature detectors or policies) that could be helpful to solve other tasks, and to limit future interference with the acquired knowledge, and thus catastrophic forgetting. Here we show that catastrophic forgetting can be mitigated in a meta-learning context, by exposing a neural network to multiple tasks in a sequential manner during training. Finally, we present SeqFOMAML, a meta-learning algorithm that implements these principles, and we evaluate it on sequential learning problems composed by Omniglot and MiniImageNet classification tasks.

研究动机与目标

• 解决标准元学习的局限性，即在单个任务上进行训练，无法在顺序学习中防止灾难性遗忘。
• 将持续学习形式化为任务序列上的元学习问题，而非单个任务。
• 开发一种方法，学习在顺序呈现的任务中同时优化快速适应和长期保留的初始模型参数。
• 证明在完整任务序列上进行元训练可实现更好的泛化性能并减少干扰，相比单任务元学习。
• 在split-Omniglot和split-MiniImageNet上提供实证验证，显示更低的遗忘率和对先前任务的性能提升。

提出的方法

• 提出SeqFOMAML，一种FOMAML的变体，使用由任务序列组成的元批次，而非单个任务。
• 使用任务序列分布优化初始模型参数，以实现对新任务的快速适应和对先前知识的保留。
• 在元训练后，使用标准随机梯度下降对实际任务序列进行微调，不修改模型或训练制度。
• 通过将元训练建模为演化终身学习先验的过程，利用Baldwin效应，类似于生物学习。
• 将目标形式化为在序列中同时最大化对新任务和先前任务的性能，采用联合优化准则。
• 应用一阶近似以降低计算成本，保持效率的同时实现有效的顺序学习。

实验结果

研究问题

• RQ1 与在单个任务上进行标准元学习相比，基于任务序列的元学习是否能减少灾难性遗忘？
• RQ2 在完整任务序列上进行预训练，如何影响在顺序学习过程中对先前学习任务的知识保留？
• RQ3 SeqFOMAML所学习的表征在任务之间泛化程度如何，能否有效抵抗后续任务的干扰？
• RQ4 该方法在具有长任务序列的复杂真实世界持续学习场景中是否具备可扩展性？
• RQ5 SeqFOMAML能否与现有持续学习方法（如弹性权重整合）有效结合？

主要发现

• 在split-MiniImageNet上，SeqFOMAML显著减少了灾难性遗忘，任务准确率的衰减时间常数为τ₁₀ = 200.9（任务序列长度为10）。
• 对于长度为20的序列，衰减时间常数增加至τ₂₀ = 273.8，表明相比短序列，遗忘速度更慢。
• 即使作为基线的FOMAML也表现出相对较低的遗忘率（τ₁ = 91.5），表明元学习表征本身已具备一定的抗干扰能力。
• 使用FOMAML参数初始化的多头网络表现出低遗忘率，表明元学习特征本身具有内在的可迁移性和稳定性。
• SeqFOMAML通过显式优化任务序列中的保留能力，在顺序学习设置中优于标准元学习。
• 该方法具有模型无关性，可与其它持续学习技术（如弹性权重整合）结合，进一步提升性能。