[论文解读] How to build a cognitive map: insights from models of the hippocampal formation

James C. R. Whittington, David McCaffary+2 more|arXiv (Cornell University)|Feb 3, 2022

Memory and Neural MechanismsNeuroscience被引用 19

一句话总结

本文提出海马体结构通过根植于强化学习、路径积分和序列建模的可泛化、抽象表征构建认知地图。通过在统一的计算框架下整合空间与非空间认知，该研究解释了空间制图的神经机制如何通过因子分解、流形学习和分层抽象的共同原则，支持抽象推理、语言和数学能力。

ABSTRACT

Learning and interpreting the structure of the environment is an innate feature of biological systems, and is integral to guiding flexible behaviours for evolutionary viability. The concept of a cognitive map has emerged as one of the leading metaphors for these capacities, and unravelling the learning and neural representation of such a map has become a central focus of neuroscience. While experimentalists are providing a detailed picture of the neural substrate of cognitive maps in hippocampus and beyond, theorists have been busy building models to bridge the divide between neurons, computation, and behaviour. These models can account for a variety of known representations and neural phenomena, but often provide a differing understanding of not only the underlying principles of cognitive maps, but also the respective roles of hippocampus and cortex. In this Perspective, we bring many of these models into a common language, distil their underlying principles of constructing cognitive maps, provide novel (re)interpretations for neural phenomena, suggest how the principles can be extended to account for prefrontal cortex representations and, finally, speculate on the role of cognitive maps in higher cognitive capacities.

研究动机与目标

• 将海马体结构的多样化模型统一于一个共同的计算框架下，以实现认知地图的构建。
• 解释海马体与内嗅皮层中的神经表征如何不仅支持空间导航，还支持抽象推理与任务层面的泛化。
• 为神经现象（如网格细胞与锥体细胞的放电）提供规范性解释，这些现象出现在非空间领域。
• 将认知制图原则扩展至更高阶认知功能，如语言、逻辑与数学。
• 通过一种形式化且可泛化的表征学习理论，弥合神经机制、计算过程与灵活行为之间的鸿沟。

提出的方法

• 将认知地图构建形式化为从感官输入与奖励信号中学习结构化、低维流形的问题。
• 应用基于价值和基于策略的强化学习（RL）方法，以模拟智能体如何推断状态表征并规划行为。
• 利用路径积分与基于向量的导航，模拟连续的空间与抽象状态转换。
• 引入状态空间的因子分解，将其划分为可分离且可解释的维度（例如空间、感官、价值基础），以实现泛化。
• 通过循环网络与注意力机制架构（如Transformer）建模基于序列的学习，以捕捉语言与逻辑中的时间与结构模式。
• 将神经数据（如fMRI中的网格样活动、扫视回放）重新解释为非空间领域中基于流形表征的证据。

实验结果

研究问题

• RQ1 为何同一套神经机制既能构建空间认知地图，也能在非空间领域支持抽象推理？
• RQ2 在抽象、非空间的任务空间中，网格样与锥体样表征的出现依赖何种计算原理？
• RQ3 强化学习与路径积分在多大程度上可解释前额叶皮层中分层且可泛化的表征形成？
• RQ4 基于序列的模型（如RNN、Transformer）能否通过与空间制图共享机制，解释语言与数学推理等认知功能？
• RQ5 海马体结构中的神经表征在多大程度上支持对新经验与新任务的系统性泛化？

主要发现

• 此前仅在空间导航中观察到的网格样与锥体样神经活动模式，亦在人类与灵长类动物的内嗅皮层与前额叶皮层中，于涉及价值、声音频率或社会等级的抽象推理任务中被发现。
• fMRI研究显示，当人类在二维抽象空间（如鸟类形态或奖励概率）中导航时，内嗅皮层与背侧前扣带皮层（mPFC）出现六边形对称的激活模式。
• 海马体结构中的神经表征可被理解为学习低维流形，以支持路径积分与对新状态的泛化。
• 采用因子化状态表征的强化学习模型可解释认知地图的出现，从而实现从稀疏观测中快速推理与规划。
• 基于序列的模型（如Transformer与RNN）可通过将语言与数学推理视为具有共享计算原则的结构化序列问题，解释复杂认知任务。
• 人类与猴子内嗅皮层在图像扫视过程中出现的网格样活动，表明视觉感知可能通过类似空间导航的动态、顺序采样机制进行处理。