[论文解读] Computational models of long term plasticity and memory

Stefano Fusi|arXiv (Cornell University)|Jun 15, 2017

Neural dynamics and brain function参考文献 76被引用 7

一句话总结

本文综述了长期突触可塑性与记忆的计算模型，强调了多种生物机制——尤其是依赖历史的突触动力学——如何实现高效、高容量的记忆存储。研究指出，通过利用稀疏神经表征和基于相关性的重组，整合复杂多尺度生化相互作用的模型（如级联和双稳态突触）可实现最优的记忆寿命与容量。

ABSTRACT

Memory is often defined as the mental capacity of retaining information about facts, events, procedures and more generally about any type of previous experience. Memories are remembered as long as they influence our thoughts, feelings, and behavior at the present time. Memory is also one of the fundamental components of learning, our ability to acquire any type of knowledge or skills. In the brain it is not easy to identify the physical substrate of memory. Basically, any long-lasting alteration of a biochemical process can be considered a form of memory, although some of these alterations last only a few milliseconds, and most of them, if taken individually, cannot influence our behavior. However, if we want to understand memory, we need to keep in mind that memory is not a unitary phenomenon, and it certainly involves several distinct mechanisms that operate at different spatial and temporal levels. One of the goals of theoretical neuroscience is to try to understand how these processes are orchestrated to store memories rapidly and preserve them over a lifetime. Theorists have mostly focused on synaptic plasticity, as it is one of the most studied memory mechanisms in experimental neuroscience and it is known to be highly effective in training artificial neural networks to perform real world tasks. Some of the synaptic plasticity models are purely phenomenological, some others have been designed to solve computational problems. In this article I will review some of these models and I will try to identify computational principles that underlie memory storage and preservation.

研究动机与目标

• 理解突触可塑性机制如何在生物约束下使大脑能够终生存储记忆。
• 识别在具有真实突触动力学的神经网络中实现高效记忆存储与检索的计算原理。
• 通过分析突触变量、历史依赖性及网络稀疏性对记忆容量与稳定性的影响，弥合理论模型与生物合理性之间的鸿沟。
• 解决将多种时间与空间尺度的可塑性整合到统一记忆存储框架中的挑战。

提出的方法

• 分析感知机算法等抽象学习规则及其在监督学习与模式分类中的作用。
• 综述包括霍普菲尔德模型、双稳态突触和级联模型在内的突触可塑性模型，重点关注其记忆容量与寿命的缩放特性。
• 运用数学分析推导记忆容量与稳定性的缩放律，尤其关注稀疏神经表征（f ≈ 活跃神经元比例）的情形。
• 使用理论框架对具有历史依赖性的突触动力学进行建模，表明记忆稳定性取决于生化过程之间的复杂相互作用。
• 从突触变量动力学、记忆寿命和信息存储容量的角度，比较不同突触模型（如无界、双稳态、级联、双向级联）的性能。
• 整合计算神经科学与机器学习的洞见，提出既具生物合理性又具备强大计算能力的模型。

实验结果

研究问题

• RQ1 尽管存在短暂的生化变化，突触可塑性机制如何使大脑实现长期记忆存储？
• RQ2 哪些计算原理使神经网络能够在长时间内维持稳定性的同时实现高记忆容量？
• RQ3 神经活动的稀疏性（f）如何影响突触模型中的记忆寿命与总信息存储量？
• RQ4 突触动力学中的历史依赖性以何种方式提升记忆效率并防止干扰？
• RQ5 如何使突触可塑性的理论模型既具备生物合理性，又能有效解决复杂的计算问题？

主要发现

• 级联模型与双向级联模型的记忆寿命缩放为 $N^2$，总信息存储量为 $N$ 位，最优性能出现在最小稀疏度 $f \sim 1/N$ 时。
• 具有缓慢抑制（$\sim f$）与快速增强（$\sim 1$）的双稳态突触，其记忆寿命为 $N$ 量级，总信息容量为 $\sqrt{N}$，具体取决于突触动力学。
• 具有历史依赖性的突触模型——源于复杂的生化相互作用——相比简单无记忆模型，能实现更高效的记忆存储。
• 理论模型表明，当网络利用记忆之间的相关性，仅存储信息中不可压缩的稀疏分量时，记忆容量达到最大。
• 如无界突触模型（Tsodyks & Feigel'man, 1988）等模型缺乏稳态，因此不报告初始信噪比，但仍能支持高容量记忆。
• 双向级联模型实现记忆寿命 $\sim N^2$ 与总信息量 $\sim N$，记忆寿命缩放为 $1/\sqrt{t}$，表明其对随时间衰减具有鲁棒性。