[论文解读] A Neural Network Model of Continual Learning with Cognitive Control

Jacob Russin, Maryam Zolfaghar+3 more|arXiv (Cornell University)|Feb 9, 2022

Memory Processes and Influences被引用 6

一句话总结

本文提出了一种在前额叶皮层（PFC）中具有认知控制机制的神经网络模型，可在持续学习过程中防止灾难性遗忘，尤其是在试验被分组时。通过在PFC中引入对主动维持的偏置，该模型在分组条件下由于干扰减少而表现出更优的学习性能，为人类在分组学习优于交错学习的优越性提供了计算解释。

ABSTRACT

Neural networks struggle in continual learning settings from catastrophic forgetting: when trials are blocked, new learning can overwrite the learning from previous blocks. Humans learn effectively in these settings, in some cases even showing an advantage of blocking, suggesting the brain contains mechanisms to overcome this problem. Here, we build on previous work and show that neural networks equipped with a mechanism for cognitive control do not exhibit catastrophic forgetting when trials are blocked. We further show an advantage of blocking over interleaving when there is a bias for active maintenance in the control signal, implying a tradeoff between maintenance and the strength of control. Analyses of map-like representations learned by the networks provided additional insights into these mechanisms. Our work highlights the potential of cognitive control to aid continual learning in neural networks, and offers an explanation for the advantage of blocking that has been observed in humans.

研究动机与目标

• 研究前额叶皮层（PFC）中的认知控制机制如何在持续学习过程中缓解神经网络中的灾难性遗忘。
• 检验当PFC对主动维持具有偏置时，分组试验（一次学习一个维度）是否比交错试验表现更优。
• 研究认知控制如何在持续学习过程中塑造神经网络中的地图样表征。
• 使用计算模型解释先前fMRI研究中观察到的人类在分组学习优于交错学习的行为优势。

提出的方法

• 该模型使用前馈神经网络，训练任务为社会层级任务，涉及对人脸在两个维度（受欢迎度和能力）上的成对比较。
• 认知控制通过PFC模块实现，该模块根据任务情境调节主网络中的活动，采用门控机制控制学习过程。
• PFC包含对持续活动（主动维持）的偏置，影响控制信号在不同情境下的应用强度。
• 模型在两种条件下进行训练：交错试验（线索随机混洗）和分组试验（一次学习一个维度）。
• 通过表示相似性分析和维度压缩度量，评估认知控制如何塑造网络的内部表征。
• 模型在学习表现和跨区块学习表征稳定性两方面进行评估。

实验结果

研究问题

• RQ1 在试验被分组时，具有认知控制机制的神经网络能否防止灾难性遗忘？
• RQ2 PFC中对主动维持的偏置是否会导致分组学习中表现优于交错学习？
• RQ3 认知控制如何影响网络中地图样表征的形成？
• RQ4 为何人类在试验分组而非交错时表现出更优的学习表现？
• RQ5 认知控制强度与情境切换成本之间存在何种权衡？

主要发现

• 具有认知控制的模型在分组学习条件下成功防止了灾难性遗忘，跨区块保持了稳定的表征。
• PFC中对主动维持的偏置在分组条件下带来性能优势，但在交错学习中因控制信号干扰而损害学习效果。
• 认知控制促进了地图样表征中无关维度的压缩，使非重叠学习模式得以形成。
• 模型表明，PFC中的主动维持造成了权衡：更强的控制可减少遗忘，但增加切换成本，从而解释了分组优势。
• 表示分析证实，认知控制通过调节网络活动来优先支持非重叠模式的学习，尤其在分组条件下更为显著。
• 结果表明，认知控制机制可能解释了人类在分组学习中的行为优势，即使在标准学习规则下该策略并非必需。