[论文解读] La-MAML: Look-ahead Meta Learning for Continual Learning

Gunshi Gupta, Karmesh Yadav+1 more|arXiv (Cornell University)|Jul 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 34

一句话总结

La-MAML 是一种用于连续学习的在线元学习算法，它通过回放缓存来调节每个参数的学习率，以减少遗忘并提升迁移。

ABSTRACT

The continual learning problem involves training models with limited capacity to perform well on a set of an unknown number of sequentially arriving tasks. While meta-learning shows great potential for reducing interference between old and new tasks, the current training procedures tend to be either slow or offline, and sensitive to many hyper-parameters. In this work, we propose Look-ahead MAML (La-MAML), a fast optimisation-based meta-learning algorithm for online-continual learning, aided by a small episodic memory. Our proposed modulation of per-parameter learning rates in our meta-learning update allows us to draw connections to prior work on hypergradients and meta-descent. This provides a more flexible and efficient way to mitigate catastrophic forgetting compared to conventional prior-based methods. La-MAML achieves performance superior to other replay-based, prior-based and meta-learning based approaches for continual learning on real-world visual classification benchmarks. Source code can be found here: https://github.com/montrealrobotics/La-MAML

研究动机与目标

• 在非平稳任务流、容量有限且容易遗忘的环境中激励持续学习。
• 开发一种在线、快速的元学习算法，使用回放来缓解干扰。
• 引入 Look-ahead MAML (La-MAML)，通过逐参数学习率调制来控制跨任务的学习节奏。
• 在现实世界的视觉基准上展示相对于基于回放、基于先验和元学习基线的可扩展性与鲁棒性。

提出的方法

• 将 Continual-MAML (C-MAML) 扩展为一个带回放缓冲的基础在线元学习方法。
• 引入逐参数可学习学习率（LRs），异步更新以调制内部更新。
• 推导梯度，展示学习率超梯度如何反映任务梯度的一致性与干扰。
• 通过 k 步 MAML 更新以及在当前样本与回放样本混合上的元损失来优化在线元目标（OML）。
• 以异步、前瞻式的方式更新网络权重和学习率，以权衡学习速度与遗忘。
• 在标准 CL 基准和可扩展视觉任务上，经验性地将 La-MAML 与 EWC、GEM、MER、iCARL、Sync 和 ER 进行比较。

实验结果

研究问题

• RQ1 在线元学习结合回放是否能实现与现有 CL 方法相当或更好的遗忘控制？
• RQ2 逐参数、可学习的学习率（LRs）是否提供一种灵活机制，在跨任务之间平衡稳定性与可塑性？
• RQ3 异步 LR 调制是否提升梯度对齐并降低持续学习中的干扰？
• RQ4 在现实世界的视觉数据集上，La-MAML 在标准持续学习和高效终身学习（LLL）设置下的表现如何？

主要发现

• 在 MNIST、CIFAR-100 和 TinyImagenet 基准上，La-MAML 通常达到或超过基于回放、基于先验和元学习基线的表现。
• 异步逐参数 LR 调制加前瞻更新比基线带来更快的学习速度和更强的梯度对齐。
• La-MAML 展现出对现实视觉任务的鲁棒性和可扩展性，保留精度具有竞争力，且向后迁移/遗忘指标更低。
• 学习率调制相对于固定学习率的 C-MAML 提供改进，并且在简单ER基线之上，尤其当任务难度增加时表现更好。
• 梯度对齐测量显示，La-MAML 变体在回放梯度与新任务梯度之间实现更高的余弦相似性，优于 ER，表明跨任务转移更好。