[论文解读] Modelling continual learning in humans with Hebbian context gating and exponentially decaying task signals

Timo Flesch, Dávid Nagy+2 more|arXiv (Cornell University)|Mar 22, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种受生物学启发的深度学习模型，通过整合赫布型上下文门控和指数衰减的任务信号，使人工神经网络能够实现持续学习。通过引入‘迟钝’的任务单元以及一种强化任务单元与隐层单元之间连接的赫布学习规则，该模型在顺序学习多个任务时可防止灾难性遗忘，并准确复现人类在分组训练与交错训练下的行为数据，尤其是在类别边界误估方面表现突出。

ABSTRACT

Humans can learn several tasks in succession with minimal mutual interference but perform more poorly when trained on multiple tasks at once. The opposite is true for standard deep neural networks. Here, we propose novel computational constraints for artificial neural networks, inspired by earlier work on gating in the primate prefrontal cortex, that capture the cost of interleaved training and allow the network to learn two tasks in sequence without forgetting. We augment standard stochastic gradient descent with two algorithmic motifs, so-called "sluggish" task units and a Hebbian training step that strengthens connections between task units and hidden units that encode task-relevant information. We found that the "sluggish" units introduce a switch-cost during training, which biases representations under interleaved training towards a joint representation that ignores the contextual cue, while the Hebbian step promotes the formation of a gating scheme from task units to the hidden layer that produces orthogonal representations which are perfectly guarded against interference. Validating the model on previously published human behavioural data revealed that it matches performance of participants who had been trained on blocked or interleaved curricula, and that these performance differences were driven by misestimation of the true category boundary.

研究动机与目标

• 解释人类在顺序学习多个任务时如何在标准深度网络存在干扰的情况下，仍能最小化干扰地完成学习。
• 开发一种生物上合理的深度学习框架，模拟人类般的持续学习，且不会发生灾难性遗忘。
• 解释人类实验中分组与交错训练下表现差异的原因。
• 建模在任务间切换的认知成本，特别是对类别边界的误估。
• 将模型与已发表的人类行为数据在任务学习与干扰方面的表现进行验证。

提出的方法

• 引入随时间缓慢变化的‘迟钝’任务单元，从而在交错训练中引入切换成本。
• 应用赫布学习规则，强化任务单元与编码任务相关信息的隐层单元之间的连接。
• 使用指数衰减的任务信号，以模拟人类认知中任务上下文的短暂性。
• 将标准随机梯度下降与这两种算法特征相结合，以引导表征学习。
• 设计网络结构，使任务单元对隐层表征进行门控，促进不同任务之间正交且不相互干扰的表征。
• 模拟了分组与交错训练两种训练范式，以对比模型行为与人类数据。

实验结果

研究问题

• RQ1 人类在顺序学习任务时，尽管标准深度网络存在干扰，为何仍能避免灾难性干扰？
• RQ2 人类学习中分组与交错训练表现差异的计算机制是什么？
• RQ3 一种受生物学启发的神经网络模型能否复现人类在持续学习任务中的行为模式？
• RQ4 ‘迟钝’任务单元与赫布可塑性之间的相互作用如何减少顺序学习过程中的干扰？
• RQ5 人类在交错训练下为何会误估类别边界，且该现象能否被计算方式捕捉？

主要发现

• 该模型成功复现了人类在分组与交错训练条件下行为表现的差异。
• ‘迟钝’任务单元引入了切换成本，使表征在交错训练中偏向于联合的、忽略上下文的解决方案。
• 赫布训练步骤实现了门控机制，产生正交的任务表征，从而防止干扰。
• 该模型在类别边界估计任务中的表现与人类被试高度一致。
• 人类数据中表现差异的关键驱动因素被识别为对真实类别边界的误估，而该模型通过其门控动态成功捕捉了这一点。
• 补充分析证实了该模型在多种模拟条件下预测结果的稳健性。