[论文解读] Learning to Remember, Forget and Ignore using Attention Control in Memory

T. S. Jayram, Younes Bouhadjar+5 more|arXiv (Cornell University)|Sep 28, 2018

Memory Processes and Influences参考文献 22被引用 3

一句话总结

本文提出可微分工作记忆（DWM），一种新型神经网络架构，通过注意力控制的记忆机制，模仿人类工作记忆，学习根据信息的相关性选择性记忆、遗忘或忽略。该模型使用动态和静态书签控制注意力，实现对心理学启发任务的稳健学习，并能泛化至比训练序列长100倍的序列，训练过程中涌现出如'覆盖'和'跳过'等可解释策略。

ABSTRACT

Typical neural networks with external memory do not effectively separate capacity for episodic and working memory as is required for reasoning in humans. Applying knowledge gained from psychological studies, we designed a new model called Differentiable Working Memory (DWM) in order to specifically emulate human working memory. As it shows the same functional characteristics as working memory, it robustly learns psychology inspired tasks and converges faster than comparable state-of-the-art models. Moreover, the DWM model successfully generalizes to sequences two orders of magnitude longer than the ones used in training. Our in-depth analysis shows that the behavior of DWM is interpretable and that it learns to have fine control over memory, allowing it to retain, ignore or forget information based on its relevance.

研究动机与目标

• 开发一种模拟人类工作记忆功能特性的神经网络模型，如有限容量和注意力控制。
• 设计一种记忆机制，使模型能够基于信息的相关性选择性保留、遗忘或忽略信息。
• 构建一组源自认知心理学的算法任务，用于评估和探究神经网络中的工作记忆行为。
• 研究注意力控制机制如何提升记忆增强型网络的数据效率与泛化能力。
• 研究在干扰条件下学习管理记忆时，高效记忆策略（如'覆盖'和'跳过'）的涌现机制。

提出的方法

• DWM模型使用带有动态和静态书签的记忆矩阵来控制注意力，其中动态书签跟踪当前处理状态，静态书签存储回忆目标。
• 通过门控机制控制注意力，使模型能够根据输入标记切换或冻结注意力，实现对记忆的选择性写入与读取。
• 模型通过使用输入项（x）、干扰项（y）、指令（回忆或忽略）和回忆标记等不同标记处理序列，实现对记忆控制的结构化学习。
• 控制器网络利用隐藏状态在子序列间维持操作模式（如'覆盖'与'跳过'），实现对任务上下文的长期记忆。
• 系统采用循环卷积实现注意力移动，并学习根据任务需求使用书签检索或覆盖记忆位置。
• 训练通过标准反向传播优化，损失函数基于正确回忆和注意力控制准确率。

实验结果

研究问题

• RQ1 可微分记忆模型能否以类似人类工作记忆的方式，选择性地记忆、遗忘或忽略信息？
• RQ2 注意力控制机制（如动态和静态书签）如何提升记忆增强型网络的数据效率与泛化能力？
• RQ3 在干扰条件下学习管理记忆时，模型会发展出何种策略（如'覆盖'或'跳过'）？
• RQ4 该模型在泛化至远长于训练序列的序列方面能达到何种程度？
• RQ5 记忆控制行为的可解释性如何？能否与注意力和认知控制的心理学机制建立关联？

主要发现

• DWM模型成功泛化至比训练序列长两个数量级的序列，展现出强大的时间泛化归纳偏置。
• 模型学习到两种不同策略——'覆盖'与'跳过'——用于处理干扰项，其中'跳过'策略仅在记忆受限条件下出现，且需要更复杂的隐藏状态记忆。
• 训练过程中，模型从反应式的'覆盖'策略逐步演化为更高效的'跳过'策略，表明其能自适应地学习操作模式。
• 动态书签学会在相关项目上跟随注意力，而在处理干扰项时冻结，展现出可解释且任务特定的注意力控制。
• 注意力控制机制使模型在复杂跨度任务中表现稳健，优于先前的DNC和LSTM模型，在数据效率与泛化能力方面表现更优。
• 系统行为具有可解释性，明确体现出注意力控制与记忆资源管理，与工作记忆的心理学模型相一致。