[论文解读] FearNet: Brain-Inspired Model for Incremental Learning

Ronald Kemker, Christopher Kanan|arXiv (Cornell University)|Nov 28, 2017

Memory and Neural Mechanisms参考文献 16被引用 271

一句话总结

FearNet 是一种受大脑启发的增量学习模型，具有双记忆（HC 负责近期记忆，mPFC 负责长期存储）以及一个用于选择记忆来源的 BLA 模块，并使用伪再现来巩固记忆。它在 CIFAR-100、CUB-200 和 AudioSet 上以较小的内存占用实现了最先进的结果。

ABSTRACT

Incremental class learning involves sequentially learning classes in bursts of examples from the same class. This violates the assumptions that underlie methods for training standard deep neural networks, and will cause them to suffer from catastrophic forgetting. Arguably, the best method for incremental class learning is iCaRL, but it requires storing training examples for each class, making it challenging to scale. Here, we propose FearNet for incremental class learning. FearNet is a generative model that does not store previous examples, making it memory efficient. FearNet uses a brain-inspired dual-memory system in which new memories are consolidated from a network for recent memories inspired by the mammalian hippocampal complex to a network for long-term storage inspired by medial prefrontal cortex. Memory consolidation is inspired by mechanisms that occur during sleep. FearNet also uses a module inspired by the basolateral amygdala for determining which memory system to use for recall. FearNet achieves state-of-the-art performance at incremental class learning on image (CIFAR-100, CUB-200) and audio classification (AudioSet) benchmarks.

研究动机与目标

• 激发增量类别学习并在不存储所有历史数据的情况下解决灾难性遗忘。
• 提出 FearNet，具有海马体启发的近期记忆和内侧前额叶皮层启发的长期记忆系统。
• 融入基底外侧杏仁体启发的选择器，用于在回忆时选择记忆。
• 通过生成自编码器使用伪再现，将近期记忆巩固到长期存储中。
• 在图像和音频基准上展示可扩展性和记忆效率。

提出的方法

• 三个神经模块：HC 负责近期记忆，mPFC 通过重建自编码器进行长期存储，BLA 决定回忆来源。
• 通过生成自编码器进行伪再现，基于类别统计（均值和协方差）创建伪样本用于记忆巩固，而不存储历史数据。
• HC 为每个类别存储样本；巩固后，样本转移到 mPFC，HC 清空。
• mPFC 使用结合监督分类和重建的损失进行训练（L_class + L_recon）。
• BLA 输出一个概率 A(x)，用于指导是否从 HC 还是 mPFC 回忆；最终预测在后验中结合 HC 与 mPFC，并使用启发式方法。

实验结果

研究问题

• RQ1 FearNet 是否能够在不存储过去训练数据的情况下实现更优秀的增量学习性能？
• RQ2 基于双记忆结构与伪再现的脑启发方法与现有方法在大规模基准上的比较？
• RQ3 记忆巩固时序（睡眠）对基础知识保留和新类别回忆的作用？
• RQ4 记忆占用与模态（图像、音频）如何影响增量学习性能？
• RQ5 记忆选择器（BLA）能否有效地将回忆路由到合适的记忆系统？

主要发现

模型	CIFAR-100 Omega_base	CIFAR-100 Omega_new	CIFAR-100 Omega_all	CUB-200 Omega_base	CUB-200 Omega_new	CUB-200 Omega_all	AudioSet Omega_base	AudioSet Omega_new	AudioSet Omega_all
1-最近邻	0.878	0.648	0.879	0.746	0.434	0.694	0.655	0.269	0.613
GeppNet+STM	0.866	0.408	0.800	0.764	0.204	0.645	0.941	0.372	0.861
GeppNet	0.833	0.529	0.754	0.727	0.558	0.645	0.932	0.499	0.879
FEL	0.707	0.999	0.619	0.702	0.976	0.641	0.491	1.000	0.456
iCaRL	0.746	0.807	0.749	0.942	0.547	0.864	0.740	0.487	0.733
FearNet	0.927	0.824	0.947	0.924	0.598	0.891	0.962	0.455	0.932

• FearNet 在 CIFAR-100、CUB-200、AudioSet 的 Omega_base、Omega_all 上相较基线增量方法达到最先进水平。
• FearNet 的性能与离线 MLP 基线紧密相近，特别是在基础知识和整体保持方面。
• 通过 mPFC 重建的伪再现使记忆从 HC 向长期存储巩固，而无需存储先前数据。
• 基于 BLA 的记忆选择有效地区分何时从 HC 还是从 mPFC 回忆，在许多情况下达到接近 oracle 的性能。
• FearNet 通过存储类别统计信息（均值和协方差）而不是原始数据，保持相对较小的内存占用。
• FearNet 在多模态增量任务中保持鲁棒性，并显示可扩展性到 100–200 类。