[论文解读] Do grid codes afford generalization and flexible decision-making?

Linda Q. Yu, Seongmin A. Park+3 more|arXiv (Cornell University)|Jun 30, 2021

Cognitive Science and Mapping参考文献 145被引用 4

一句话总结

本文研究海马旁皮层中的网格编码如何通过在抽象非空间任务中实现泛化和自适应决策，支持行为灵活性。它提出了两种互补机制：网格编码作为后续表示（SR）的特征向量，为学习状态转移提供高效基底；以及网格编码作为反映全局任务组织的因子化结构编码，实现无需新经验的一次性推理。

ABSTRACT

Behavioral flexibility is learning from previous experiences and planning appropriate actions in a changing or novel environment. Successful behavioral adaptation depends on internal models the brain builds to represent the relational structure of an abstract task. Emerging evidence suggests that the well-known roles of the hippocampus and entorhinal cortex (HC-EC) in integrating spatial relationships into cognitive maps can be extended to map the transition structure between states in non-spatial abstract tasks. However, what the EC grid-codes actually compute to afford generalization remains elusive. We introduce two non-exclusive ideas regarding what grid-codes may represent to afford higher-level cognition. One idea is that grid-codes are eigenvectors of the successor representation (SR) learned online during a task. This view assumes that the grid codes serve as an efficient basis function for learning and representing experienced relationships between entities. Subsequently, the grid codes facilitate generalization in novel contexts such as when the goal changes. The second idea is that the grid-codes reflect the inferred global task structure. This view assumes that the grid-code represents a structural code that is factorized from specific sensory content, enabling structural information to be transferred across tasks. Subsequently, the brain could afford one-shot inferences without requiring experience. The ability to generalize experiences and make appropriate decisions in novel situations is critical for both animals and machines. Here we review proposed computations of the grid-code in the brain, which is potentially critical to behavioral flexibility.

研究动机与目标

• 理解海马旁皮层中的网格编码如何在空间导航之外支持行为灵活性。
• 研究网格编码是否能在抽象非空间任务中表示关系结构。
• 评估网格编码是否可作为学习状态转移的高效基底（通过后续表示实现）。
• 检验网格编码是否编码了一种因子化、抽象的全局任务结构表示，以实现一次性推理。
• 弥合海马-内嗅皮层环路功能与动态环境中高级认知和决策之间的联系。

提出的方法

• 提出网格编码作为后续表示（SR）的特征向量出现，SR是一种预测未来状态占用情况的价值函数。
• 将网格编码建模为一种低维、结构化的基底，用于表示任务中状态之间的转换动态。
• 提出一种计算框架，其中网格状表示通过时序差分学习在任务参与过程中在线学习。
• 分析此类表示如何通过重新加权现有表示，在任务目标改变时实现泛化。
• 将网格编码视为编码任务拓扑的结构抽象，独立于感官输入或特定奖励。
• 通过利用网格编码在不同任务间保持不变的因子化、不变结构，评估一次性推理的潜力。

实验结果

研究问题

• RQ1 海马旁皮层中的网格编码是否可作为非空间任务中状态转移动态的高效基底？
• RQ2 网格编码在多大程度上反映了任务的全局结构组织，而独立于感官或奖励特定细节？
• RQ3 当任务目标或情境改变时，网格编码如何在无需新学习的情况下支持泛化？
• RQ4 网格编码是否能通过从经验中抽象任务结构来实现一次性推理？
• RQ5 在抽象非空间决策中，网格状表示出现的计算机制是什么？

主要发现

• 网格编码可能作为后续表示（SR）的特征向量，为学习和泛化状态转移动态提供数学上高效的基底。
• 基于SR的网格编码表示可实现行为的快速重构，当任务目标改变时，支持灵活决策。
• 网格编码可表示任务拓扑的因子化、抽象结构，实现跨不同任务的结构知识迁移。
• 由网格编码编码的结构抽象可能通过使大脑能够在无新经验的情况下推理新任务配置，支持一次性推理。
• 同时表示转换动态和全局结构的双重角色表明，网格编码在抽象推理中的认知灵活性和泛化中起核心作用。
• 这些机制为海马-内嗅皮层系统如何在变化或新环境中支持自适应行为提供了神经计算解释。