[论文解读] Automatic Recall Machines: Internal Replay, Continual Learning and the Brain

Xu Ji, João F. Henriques+2 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 53被引用 6

一句话总结

本文提出自动回忆机制（ARM），一种持续学习方法，能够从模型内部知识中实时生成回放样本，无需外部缓冲区或生成网络。通过优化当前批次中能最大化激活变化的样本，ARM 实现了更优的遗忘抑制效果，且回放样本的梯度与真实数据的梯度高度一致，尤其在深层网络层中表现显著。

ABSTRACT

Replay in neural networks involves training on sequential data with memorized samples, which counteracts forgetting of previous behavior caused by non-stationarity. We present a method where these auxiliary samples are generated on the fly, given only the model that is being trained for the assessed objective, without extraneous buffers or generator networks. Instead the implicit memory of learned samples within the assessed model itself is exploited. Furthermore, whereas existing work focuses on reinforcing the full seen data distribution, we show that optimizing for not forgetting calls for the generation of samples that are specialized to each real training batch, which is more efficient and scalable. We consider high-level parallels with the brain, notably the use of a single model for inference and recall, the dependency of recalled samples on the current environment batch, top-down modulation of activations and learning, abstract recall, and the dependency between the degree to which a task is learned and the degree to which it is recalled. These characteristics emerge naturally from the method without being controlled for.

研究动机与目标

• 通过利用训练模型中的隐式记忆来解决持续学习中的灾难性遗忘问题，避免使用外部记忆或生成组件。
• 克服依赖外部缓冲区或训练生成器的经验回放方法的局限性，这些方法在内存效率上较低，且在自然图像上难以训练。
• 开发一种可扩展、高效的回放机制，基于当前训练批次而非完整数据分布生成任务特定、高影响力的样本。
• 建立一种生物上合理的学习机制，其中回忆由知识变化触发，并受环境上下文调节，模拟大脑动力学。
• 证明尽管视觉上与原始类别相似，但所生成的回放样本仍能产生与目标类别真实数据高度相关的梯度，验证其功能相关性。

提出的方法

• 通过在输入空间中优化点，使其在当前批次上训练时能最大化旧模型与新模型预测之间的损失差异，使用梯度上升法生成回放样本。
• 将回放样本定义为在输入空间中引发模型行为最大分歧（即输出变化）的样本，从而确保对遗忘的最大保护。
• 利用模型自身的参数和激活值生成样本，无需额外内存或独立的生成网络，使方法具备内存效率并支持端到端训练。
• 将回放样本的生成条件限定于当前真实批次，确保其针对当前任务高度专业化，比通用回放更有效。
• 将回忆目标形式化为最小化输入空间中模型行为的最大分歧，理论上可保证所有其他分歧也得到最小化。
• 在真实数据和生成的回放样本上联合训练模型，后者通过强化模型在非平稳数据流下保持先前学习行为的能力来发挥作用。

实验结果

研究问题

• RQ1 是否能仅从模型自身参数内部生成回放样本，而无需外部缓冲区或生成网络？
• RQ2 通过生成当前批次中最大化激活变化的样本，是否能比回放完整数据分布带来更好的遗忘抑制效果？
• RQ3 在深层网络层中，内部生成的回放样本的梯度与真实数据的梯度相比如何？
• RQ4 回放样本在多大程度上反映功能相似性（基于输出）而非像素级相似性？
• RQ5 自动回忆机制是否能自然地再现关键类脑动力学现象，如自上而下的调制和惊喜驱动的回放？

主要发现

• 通过在当前批次上基于梯度优化生成的回放样本，其梯度与目标类别真实数据的梯度显著相关，尤其在深层网络中（例如，在 CIFAR10 上使用硬标签时，全连接层的相关系数达 0.726）。
• 即使回放样本在视觉上与原始类别相似（如类别 1），其梯度仍更接近目标类别（如类别 2）的真实样本，表明其功能相似性优于像素级相似性。
• 该方法在无需外部内存或训练生成器的情况下，实现了优于标准回放基线的遗忘抑制效果。
• 回放样本梯度与目标类别真实数据梯度的相关性随网络深度增加而提升，在 CIFAR10 上使用硬标签的最终层达到峰值 0.726。
• 该方法自然地再现了类脑现象，如自上而下的调制、惊喜驱动的回忆和抽象回忆，这些现象源自优化过程，无需显式设计。
• 在 MNIST、CIFAR10 和 MiniImageNet 上的实验表明，该方法在不同数据集和架构（包括 ResNets 和多层感知机）中均表现出一致的性能提升。