[论文解读] Sequential Memory with Temporal Predictive Coding

Mufeng Tang, Helen C. Barron+1 more|PubMed|May 19, 2023

Neural dynamics and brain function参考文献 37被引用 8

一句话总结

本论文提出时序预测编码（tPC）用于序列记忆，展示其在生物学可解释的神经实现下能够记忆与回忆序列，并且tPC中的 whitening 在稳定回忆方面相较经典非对称 Hopfield 网络具有优势。

ABSTRACT

Forming accurate memory of sequential stimuli is a fundamental function of biological agents. However, the computational mechanism underlying sequential memory in the brain remains unclear. Inspired by neuroscience theories and recent successes in applying predictive coding (PC) to <i>static</i> memory tasks, in this work we propose a novel PC-based model for <i>sequential</i> memory, called <i>temporal predictive coding</i> (tPC). We show that our tPC models can memorize and retrieve sequential inputs accurately with a biologically plausible neural implementation. Importantly, our analytical study reveals that tPC can be viewed as a classical Asymmetric Hopfield Network (AHN) with an implicit statistical whitening process, which leads to more stable performance in sequential memory tasks of structured inputs. Moreover, we find that tPC exhibits properties consistent with behavioral observations and theories in neuroscience, thereby strengthening its biological relevance. Our work establishes a possible computational mechanism underlying sequential memory in the brain that can also be theoretically interpreted using existing memory model frameworks.

研究动机与目标

• 激发并建模大脑如何形成 temporal 序列记忆。
• 开发具有生物学可解释实现的时序预测编码框架。
• 分析将 tPC 与带 whitening 的非对称 Hopfield 网络的理论性质联系起来。
• 在结构化序列数据上展示 tPC 相较传统记忆模型的经验优势。
• 通过匹配已知的串行回忆现象并探索上下文表征，展示行为相关性。

提出的方法

• 提出时序预测编码（tPC）作为带有静态 PC 时序扩展的记忆模型。
• 推导一个单层 tPC，使其最小化时序预测误差并通过 Hebbian 规则学习，回忆通过局部推理实现。
• 表明单层 tPC 等价于非对称 Hopfield 网络的 whitening 点积形式。
• 扩展到具有隐藏层的两层 tPC，以捕获上下文和动力学，实现上下文依赖的表征。
• 提供神经实现草图，包含值神经元与误差神经元群以及用于时序预测的突触延迟机制。
• 将 tPC 与 AHN 及现代连续 AHN 在结构化序列数据上的表现进行比较，并将发现与类认知地图的表征联系起来。

Figure 1: Neural implementations of the tPC models. A: single-layer tPC. B: 2-layer tPC.

实验结果

研究问题

• RQ1 tPC 是否能够以生物学可解释的方式记忆并回忆具有时间依赖性的序列？
• RQ2 tPC 是否隐式地在回忆时 whitening，且这种 whitening 是否提升相较于经典 AHN 的稳定性？
• RQ3 分层（两层）tPC 如何形成上下文相关的表征并对学习到的序列动力学进行泛化？
• RQ4 tPC 模型是否再现串行回忆中的已知现象，如首位效应/近位效应和序列长度效应？
• RQ5 tPC 是否能为认知地图及上下文表征在序列记忆中的作用提供洞见？

主要发现

• 单层 tPC 作为 whitening 增强的 AHN 变体，在相关或结构化序列上的稳定性提升。
• tPC 中的 whitening 在回忆时对输入进行隐式去相关化，导致比基础 AHN 及部分 MCAHN 变体在自然风格序列上有更好的回忆容量。
• 两层 tPC 形成上下文相关的表征，帮助区分混淆的输入并支持正确的下一步回忆。
• tPC 能再现诸如序列长度对串行回忆的影响以及 primacy/recency 等行为模式的定性特征。
• 该模型显示出上下文表征与对已学动力学的泛化潜力，提示与认知地图的联系。

Figure 2: Comparison between single-layer tPC and AHNs. A: Capacity of models with uncorrelated binary patterns. B: Capacity of models with binary patterns with increasing feature correlations. C: Recall performance with sequences of binary MNIST digits.