[論文レビュー] Do grid codes afford generalization and flexible decision-making?

Linda Q. Yu, Seongmin A. Park+3 more|arXiv (Cornell University)|Jun 30, 2021

Cognitive Science and Mapping参考文献 145被引用数 4

ひとこと要約

本論文は、海馬傍頭皮質におけるグリッドコードが、空間的でない抽象的タスクにおいて一般化と適応的意思決定を可能にする仕組みとして、行動の柔軟性をどのように支えるかを調査している。2つの補完的メカニズムを提唱する：(1) 継続的表現（SR）の固有ベクトルとしてのグリッドコードであり、状態遷移の学習に効率的な基底を提供する。 (2) グローバルなタスク組織を反映する要因分解された構造的コードとしてのグリッドコードであり、新たな経験なしにワンショット推論を可能にする。

ABSTRACT

Behavioral flexibility is learning from previous experiences and planning appropriate actions in a changing or novel environment. Successful behavioral adaptation depends on internal models the brain builds to represent the relational structure of an abstract task. Emerging evidence suggests that the well-known roles of the hippocampus and entorhinal cortex (HC-EC) in integrating spatial relationships into cognitive maps can be extended to map the transition structure between states in non-spatial abstract tasks. However, what the EC grid-codes actually compute to afford generalization remains elusive. We introduce two non-exclusive ideas regarding what grid-codes may represent to afford higher-level cognition. One idea is that grid-codes are eigenvectors of the successor representation (SR) learned online during a task. This view assumes that the grid codes serve as an efficient basis function for learning and representing experienced relationships between entities. Subsequently, the grid codes facilitate generalization in novel contexts such as when the goal changes. The second idea is that the grid-codes reflect the inferred global task structure. This view assumes that the grid-code represents a structural code that is factorized from specific sensory content, enabling structural information to be transferred across tasks. Subsequently, the brain could afford one-shot inferences without requiring experience. The ability to generalize experiences and make appropriate decisions in novel situations is critical for both animals and machines. Here we review proposed computations of the grid-code in the brain, which is potentially critical to behavioral flexibility.

研究の動機と目的

• 海馬傍頭皮質におけるグリッドコードが空間的走破を越えて行動の柔軟性をどのように支えるかを理解すること。
• グリッドコードが抽象的で空間的でないタスクにおける関係的構造をどのように表現できるかを調査すること。
• グリッドコードが状態遷移の学習に効率的な基底として機能するかどうか（継続的表現を介して）を評価すること。
• グリッドコードが、タスクのグローバル構造の要因分解された抽象的表現を担い、ワンショット推論を可能にするかどうかを検討すること。
• 海馬-傍頭皮質回路の機能を、動的環境における高階層認知および意思決定と結びつけること。

提案手法

• グリッドコードが、将来の状態占有を予測する価値関数である継続的表現（SR）の固有ベクトルとして生じると提唱する。
• グリッドコードを、タスク内の状態間の遷移ダイナミクスを表す低次元で構造的な基底としてモデル化する。
• グリッド表現が時間差学習を介してタスク参加中にオンラインで学習される計算フレームワークを導入する。
• このような表現が、タスク目標が変化した際に、既存の表現の重み付けを再調整することで一般化を可能にすることを分析する。
• グリッドコードが、感覚的入力や特定の報酬とは独立して、タスクトポロジーの構造的抽象を符号化すると考える。
• グリッドコードの要因分解された不変構造を活用することで、ワンショット推論が可能かどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 海馬傍頭皮質におけるグリッドコードは、空間的でないタスクにおける状態遷移ダイナミクスを効率的に表現する基底として機能できるか？
• RQ2 グリッドコードは、感覚的または報酬固有の詳細とは独立して、タスクのグローバル構造組織をどの程度反映しているか？
• RQ3 タスク目標や文脈が変化した際に、グリッドコードは新しい学習を必要とせずに一般化をどのように支援するか？
• RQ4 グリッドコードは経験からタスク構造を抽象化することで、ワンショット推論を可能にするか？
• RQ5 抽象的で空間的でない意思決定において、グリッド表現がどのようにして出現するかの計算的メカニズムは何か？

主な発見

• グリッドコードは、継続的表現（SR）の固有ベクトルとして機能する可能性があり、状態遷移ダイナミクスの学習と一般化に数学的に効率的な基底を提供する。
• このSRに基づくグリッドコード表現により、タスク目標が変化した際に行動の再構成が迅速に行われ、柔軟な意思決定が可能になる。
• グリッドコードは、タスクトポロジーの要因分解された抽象的構造を表現でき、異なるタスク間での構造的知識の転送を可能にする。
• グリッドコードが符号化する構造的抽象は、新しい経験なしに新しいタスク構成について推論できるようにすることで、ワンショット推論を支援する可能性がある。
• 遷移ダイナミクスとグローバル構造の両方を表すという二重の役割は、グリッドコードが抽象的推論における認知的柔軟性と一般化の中心的役割を果たしていることを示唆する。
• これらのメカニズムは、変化するか新しい環境において適応的行動を支えるために、海馬-傍頭皮質系がどのように機能するかの神経計算的説明を提供する。