[论文解读] Associative Memories via Predictive Coding

Tommaso Salvatori, Yuhang Song+6 more|PubMed|Sep 16, 2021

Neural dynamics and brain function参考文献 46被引用 31

一句话总结

提出了一种生成性预测编码网络（PCN）作为联想记忆，将数据存储为吸引子并从损坏或部分输入中检索原始数据；在复杂数据上优于自编码器和现代霍普菲尔德网络，并支持多模态检索。

ABSTRACT

Associative memories in the brain receive and store patterns of activity registered by the sensory neurons, and are able to retrieve them when necessary. Due to their importance in human intelligence, computational models of associative memories have been developed for several decades now. In this paper, we present a novel neural model for realizing associative memories, which is based on a hierarchical generative network that receives external stimuli via sensory neurons. It is trained using predictive coding, an error-based learning algorithm inspired by information processing in the cortex. To test the model's capabilities, we perform multiple retrieval experiments from both corrupted and incomplete data points. In an extensive comparison, we show that this new model outperforms in retrieval accuracy and robustness popular associative memory models, such as autoencoders trained via backpropagation, and modern Hopfield networks. In particular, in completing partial data points, our model achieves remarkable results on natural image datasets, such as ImageNet, with a surprisingly high accuracy, even when only a tiny fraction of pixels of the original images is presented. Our model provides a plausible framework to study learning and retrieval of memories in the brain, as it closely mimics the behavior of the hippocampus as a memory index and generative model.

研究动机与目标

• 用受皮层预测启发的生物学上可行的学习框架来激发并建模联想记忆。
• 证明生成性预测编码网络将数据点存储为吸引子，并能够从损坏的输入中实现鲁棒检索。
• 在自然图像上展示比通过反向传播训练的 AEs 和 MHNs 更高的检索精度和鲁棒性。
• 证明从部分数据重建以及多模态检索（通过字幕/文本说明检索图像，或通过图像检索字幕）。

提出的方法

• 用感官层、多个隐藏层和一个记忆向量来定义生成性预测编码网络（PCN）。
• 使用推理学习（IL）训练 PCN，包括推理阶段（更新值节点以使全局能量 E 最小化）和权重更新阶段（更新权重和记忆以进一步最小化 E）。
• 在各层将预测表示为 μ 和误差 ε，更新规则局部且生物学上可行（基于 E 的学习）。
• 通过对感官输入固定为训练样本时的能量局部极小值的收敛推理，将训练数据点存储为吸引子。
• 仅使用推理阶段来检索存储的数据：损坏输入 -> 运行推理 -> 将感官预测读取为检索数据。
• 在图像重建、容量和鲁棒性上，与通过反向传播训练的自编码器（AEs）以及现代Hopfield网络（MHNs）进行对比。

实验结果

研究问题

• RQ1 生成性预测编码网络是否能够将数据点存储为吸引子并从损坏的输入中检索它们？
• RQ2 与自编码器和现代Hopfield网络相比，PCN 是否在复杂数据上提供更高的检索精度和鲁棒性？
• RQ3 PCN 是否能够重建不完整的数据并执行多模态记忆任务（例如图像-字幕检索）？
• RQ4 更深层（层数更多）的 PCN 是否会提高记忆容量和重建质量？
• RQ5 在高维图像重建任务中，PCN 与 MHN 和 DANNs 的对比如何？

主要发现

• 生成性 PCN 将训练点存储为吸引子，并从损坏的输入中检索原始数据，在存储容量、检索精度和鲁棒性方面超过同等规模的 AEs。
• 在 Tiny ImageNet 和 CIFAR-10 上，PCN 在仅提供部分像素时也能高精度重建不完整数据，优于 AEs 和 MHNs。
• 更深的 PCN 增加容量和重建性能，10 层 PCN 能从部分输入中恢复大多数图像；它们优于过参数化的 AEs。
• PCN 能执行异质联想记忆任务，可以从文本描述检索图像，反之亦然，甚至使用非常小的描述向量（例如 25 维的字幕输入即可检索 3072 像素的图像）。
• 与现代 Hopfield 网络相比，PCN 始终检索出可能的记忆，而不仅仅是少量的精确吸引子；MHNs 可能存储指数级记忆，但在处理复杂、嘈杂或部分输入时困难。
• 与 DANNs 比较时，PCN 在从部分 CIFAR-10 图像重建时产生更清晰的重建，尽管 DANNs 通过更广泛的训练可能具有更高的总体容量。