[论文解读] Meta-Learning Representations for Continual Learning

Khurram Javed, Martha White|arXiv (Cornell University)|May 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用 25

一句话总结

该论文提出OML，一种元学习目标，通过训练神经网络表征以最小化灾难性遗忘并加速持续学习中的未来学习。通过优化对在线更新的鲁棒性，OML学习到自然稀疏的表征，其性能优于标准方法，使得简单的在线更新即可媲美基于回放的方法。

ABSTRACT

A continual learning agent should be able to build on top of existing knowledge to learn on new data quickly while minimizing forgetting. Current intelligent systems based on neural network function approximators arguably do the opposite---they are highly prone to forgetting and rarely trained to facilitate future learning. One reason for this poor behavior is that they learn from a representation that is not explicitly trained for these two goals. In this paper, we propose OML, an objective that directly minimizes catastrophic interference by learning representations that accelerate future learning and are robust to forgetting under online updates in continual learning. We show that it is possible to learn naturally sparse representations that are more effective for online updating. Moreover, our algorithm is complementary to existing continual learning strategies, such as MER and GEM. Finally, we demonstrate that a basic online updating strategy on representations learned by OML is competitive with rehearsal based methods for continual learning. We release an implementation of our method at https://github.com/khurramjaved96/mrcl .

研究动机与目标

• 通过显式训练表征以增强对在线更新的鲁棒性，解决持续学习中的灾难性遗忘问题。
• 通过学习支持对新数据更快适应的表征，加速未来学习。
• 设计一种元目标，直接最小化在线学习过程中的干扰，而非依赖稀疏性等代理指标。
• 构建与现有持续学习方法互补的表征，以增强其性能。
• 证明在OML学习的表征上进行基本在线更新，可达到或超越基于回放的方法。

提出的方法

• OML采用元学习框架，其中表征网络通过元目标进行优化，该元目标评估在数据轨迹上进行在线更新后的性能。
• 元目标通过鼓励小幅度梯度更新以保留先前任务的知识，来最小化干扰。
• 在元训练过程中，内层循环仅更新预测学习网络（PLN）；在外层循环中，使用元目标同时更新表征学习网络（RLN）和PLN。
• 该方法学习到本质上稀疏的表征，无需显式的稀疏性正则化。
• 推理阶段的在线更新仅修改PLN，而RLN保持固定，从而实现高效的持续学习。
• 该方法与现有持续学习方法（如MER、EWC和ER-Reservoir）兼容，当使用OML表征初始化时，这些方法的性能得以提升。

实验结果

研究问题

• RQ1 能否设计一种元目标，直接在在线学习过程中最小化灾难性干扰？
• RQ2 能否学习到既对遗忘具有鲁棒性又有利于加速未来学习的表征？
• RQ3 OML目标是否能在无显式稀疏性约束的情况下，自然产生稀疏表征？
• RQ4 在OML学习的表征上进行简单在线更新，能否超越更复杂的基于回放的方法？
• RQ5 OML如何与现有持续学习算法相互作用并提升其性能？

主要发现

• 当使用OML学习的表征时，OML在所有测试的持续学习方法（包括EWC、MER和ER-Reservoir）中均显著提升性能。
• 在包含50个任务（每任务1个类别）的Split-Omniglot数据集上，OML支持的在线更新达到64.72%的准确率，优于使用标准表征的基于回放的方法（如ER-Reservoir为68.16%，MER为76.00%）。
• 在每任务5个类别的设置下，基于OML的在线更新达到55.32%的准确率，超越了使用标准表征的所有其他方法。
• 使用固定表征进行预训练仅带来微小收益，而OML始终表现出显著改进，显示出其相对于静态表征学习的优越性。
• OML优于近似独立同分布（IID）训练，表明其不仅减少干扰，还提升了在新数据上的学习速度。
• 当使用OML表征时，在线方法与基于回放的方法之间的性能差距缩小，表明OML使在线学习更加高效。