[論文レビュー] How to build a cognitive map: insights from models of the hippocampal formation

James C. R. Whittington, David McCaffary+2 more|arXiv (Cornell University)|Feb 3, 2022

Memory and Neural MechanismsNeuroscience被引用数 19

ひとこと要約

本稿は、強化学習、経路統合、順序モデリングに根ざした一般化可能で抽象的な表現に基づき、海馬形成が認知地図を構築すると提唱する。空間的・非空間的認知を共通の計算枠組みの下で統合することで、空間マッピングの神経メカニズムが、要因分解、多様体学習、階層的抽象化といった共通の原則を通じて、抽象的推論、言語、数学を支援することを説明する。

ABSTRACT

Learning and interpreting the structure of the environment is an innate feature of biological systems, and is integral to guiding flexible behaviours for evolutionary viability. The concept of a cognitive map has emerged as one of the leading metaphors for these capacities, and unravelling the learning and neural representation of such a map has become a central focus of neuroscience. While experimentalists are providing a detailed picture of the neural substrate of cognitive maps in hippocampus and beyond, theorists have been busy building models to bridge the divide between neurons, computation, and behaviour. These models can account for a variety of known representations and neural phenomena, but often provide a differing understanding of not only the underlying principles of cognitive maps, but also the respective roles of hippocampus and cortex. In this Perspective, we bring many of these models into a common language, distil their underlying principles of constructing cognitive maps, provide novel (re)interpretations for neural phenomena, suggest how the principles can be extended to account for prefrontal cortex representations and, finally, speculate on the role of cognitive maps in higher cognitive capacities.

研究の動機と目的

• 認知地図構築のための共通の計算枠組みに、多様な海馬形成モデルを統合すること。
• 海馬および内嗅皮質内の神経表現が、空間的ナビゲーションに加え、抽象的推論とタスクレベルの一般化をどのように支援するかを説明すること。
• グリッド細胞や場所細胞の放電様式といった神経現象を、非空間的領域においても説明可能な規範的解釈を提供すること。
• 認知マッピングの原則を、言語、論理、数学といった高次認知機能へと拡張すること。
• 形式的で一般化可能な表現学習理論を通じて、神経メカニズム、計算、柔軟な行動の間の溝を埋めること。

提案手法

• 感覚入力および報酬入力から構造的で低次元の多様体を学習する問題として、認知地図構築を形式化すること。
• 価値ベースおよび方策ベースの学習を用いた強化学習（RL）を適用し、エージェントが状態表現を推定し、行動を計画する仕組みをモデル化すること。
• 経路統合とベクトルベースのナビゲーションを用いて、連続的な空間的および抽象的状態遷移をシミュレートすること。
• 状態空間の要因分解を通じて、分離可能で解釈可能な次元（例：空間的、感覚的、価値ベース）を導入し、一般化を可能にすること。
• 再帰的およびアテンションベースのアーキテクチャ（例：Transformers）を用いた順序ベースの学習をモデル化し、言語や論理における時間的・構造的パターンを捉えること。
• 神経データ（例：fMRIにおけるグリッド様活動、サッカード再現）を、非空間的領域における多様体ベースの表現の証拠として再解釈すること。

実験結果

リサーチクエスチョン

• RQ1 空間認知地図を構築する同じ神経メカニズムが、非空間的領域における抽象的推論をどのように支援できるか。
• RQ2 抽象的で非空間的なタスク空間において、グリッド様および場所様の表現がどのように出現するかの計算的原則は何か。
• RQ3 強化学習と経路統合が、前頭前皮質における階層的かつ一般化可能な表現の形成をどの程度説明できるか。
• RQ4 RNN や Transformers などの順序ベースのモデルが、空間マッピングと共通のメカニズムを用いて、言語や数学的推論といった認知機能を説明できるか。
• RQ5 海馬形成内の神経表現が、新しい経験やタスクに対してどのように体系的な一般化を支援するか。

主な発見

• 空間的ナビゲーションで観察されたグリッド様および場所様の神経活動パターンは、価値、音の周波数、社会的階層性を含む抽象的推論タスクにおいて、ヒトおよび霊長類の内嗅皮質および前頭前皮質でも観察された。
• fMRI研究では、鳥の形態や報酬確率といった2次元の抽象的空間をナビゲートする際、ヒトの内嗅皮質および前頭前部前頭前皮質（mPFC）にヘキサゴナル対称性の活性パターンが観察された。
• 海馬形成内の神経表現は、新しい状態への経路統合と一般化を支援する低次元の多様体の学習として理解できる。
• 要因分解された状態表現を用いた強化学習モデルは、疎な観察からの迅速な推論と計画を可能にする認知地図の出現を説明できる。
• Transformers や RNN といった順序ベースのモデルは、言語や数学的推論といった複雑な認知タスクを、共通の計算原則を持つ構造的シーケンス問題として扱うことで説明できる。
• 画像のサッカード中にヒトおよびサルの内嗅皮質で観察されたグリッド様活動は、視覚的認識が空間的ナビゲーションに類似した動的で順次的サンプリング機構を通じて処理されている可能性を示唆している。