[논문 리뷰] How to build a cognitive map: insights from models of the hippocampal formation

James C. R. Whittington, David McCaffary외 2명|arXiv (Cornell University)|2022. 02. 03.

Memory and Neural MechanismsNeuroscience인용 수 19

한 줄 요약

이 논문은 해마 형성부가 강화 학습, 경로 통합, 순서 모델링에 기반한 일반화 가능하고 추상적인 표현을 통해 인지 지ap을 구성한다고 제안한다. 공간적 사고와 비공간적 사고를 동일한 계산 프레임워크 아래 통합함으로써, 공간 맵핑을 위한 신경 기제가 요약, 언어, 수학과 같은 추상적 사고를 어떻게 공통 원리인 인자 분해, 다양체 학습, 계층적 추상화를 통해 지원할 수 있는지 설명한다.

ABSTRACT

Learning and interpreting the structure of the environment is an innate feature of biological systems, and is integral to guiding flexible behaviours for evolutionary viability. The concept of a cognitive map has emerged as one of the leading metaphors for these capacities, and unravelling the learning and neural representation of such a map has become a central focus of neuroscience. While experimentalists are providing a detailed picture of the neural substrate of cognitive maps in hippocampus and beyond, theorists have been busy building models to bridge the divide between neurons, computation, and behaviour. These models can account for a variety of known representations and neural phenomena, but often provide a differing understanding of not only the underlying principles of cognitive maps, but also the respective roles of hippocampus and cortex. In this Perspective, we bring many of these models into a common language, distil their underlying principles of constructing cognitive maps, provide novel (re)interpretations for neural phenomena, suggest how the principles can be extended to account for prefrontal cortex representations and, finally, speculate on the role of cognitive maps in higher cognitive capacities.

연구 동기 및 목표

• 인지 지도 구축을 위한 공통 계산 프레임워크 아래 다양한 해마 형성부 모델을 통합하기 위해.
• 해마 및 허브리드 코르티컬 영역의 신경 표현이 공간 탐색을 넘어서 추상적 사고와 과제 수준의 일반화를 어떻게 지원하는지 설명하기 위해.
• 비공간 영역에서의 격자세포 및 장소세포 활동과 같은 신경 현상에 대한 정규적 설명을 제공하기 위해.
• 인지 지도의 원리들을 언어, 논리, 수학과 같은 고차원 인지 기능으로 확장하기 위해.
• 형식적이고 일반화 가능한 표현 학습 이론을 통해 신경 기제, 계산, 영리한 행동 간 격차를 메우기 위해.

제안 방법

• 감각 자극과 보상 입력으로부터 구조적이고 저차원의 다양체를 학습하는 문제로 인지 지도 구축을 공식화하기 위해.
• 가치 기반 및 정책 기반 학습을 포함한 강화 학습(RL)을 적용하여 에이전트가 상태 표현을 추론하고 행동을 계획하는 방식을 모델링하기 위해.
• 경로 통합과 벡터 기반 탐색을 사용하여 연속적인 공간적 및 추상적 상태 전이를 시뮬레이션하기 위해.
• 공간, 감각, 가치 기반 등 분리 가능하고 해석 가능한 차원으로 상태 공간을 인자 분해하여 일반화를 가능하게 하기 위해.
• 순환 및 주목 기반 아키텍처(예: 트랜스포머)를 통한 순서 기반 학습을 모델링하여 언어와 논리에서의 시간적 및 구조적 패턴을 포착하기 위해.
• 신경 데이터(예: fMRI에서의 격자형 활동, 사카디프 재생)를 비공간 영역에서의 다양체 기반 표현의 증거로 재해석하기 위해.

실험 결과

연구 질문

• RQ1 공간 인지 지도를 구성하는 동일한 신경 기제가 비공간 영역에서 추상적 사고를 어떻게 지원할 수 있는가?
• RQ2 비공간 과제 공간에서 격자형 및 장소형 표현이 나타나는 데 배경이 되는 계산 원리는 무엇인가?
• RQ3 강화 학습과 경로 통합이 전두엽 피질에서 계층적이고 일반화 가능한 표현의 형성에 얼마나 기여하는가?
• RQ4 순서 기반 모델(예: RNN, 트랜스포머)이 공간 맵핑과 공통 원리를 공유함으로써 언어 및 수학적 사고와 같은 인지 기능을 어떻게 설명할 수 있는가?
• RQ5 해마 형성부의 신경 표현이 새로운 경험과 과제 간의 체계적 일반화를 어떻게 지원하는가?

주요 결과

• 이전에는 공간 탐색에서 관찰된 바 있었던 격자형 및 장소형 신경 활동 패tern이, 가치, 음향 주파수 또는 사회적 위계와 관련된 추상적 사고 과제에서 인간 및 영장류의 허브리드 코르티컬 영역과 전두엽 피질에서 발견된다.
• fMRI 연구에서 인간의 허브리드 코르티컬 영역과 mPFC에서 새의 형태나 보상 확률과 같은 이차원 비공간 공간을 탐색할 때, 육각형 대칭 활동 패턴이 관찰된다.
• 해마 형성부의 신경 표현은 새로운 상태 간의 경로 통합과 일반화를 지원하는 저차원 다양체를 학습하는 것으로 이해할 수 있다.
• 상태 공간을 인자 분해한 강화 학습 모델은 희소 관찰에서 빠른 추론과 계획을 가능하게 하는 인지 지도의 형성 원리를 설명할 수 있다.
• 트랜스포머 및 RNN과 같은 순서 기반 모델은 언어와 수학적 사고와 같은 복잡한 인지 과제를 공통 계산 원리를 가진 구조적 순서 문제로 간주함으로써 이를 설명할 수 있다.
• 사람과 원숭이의 허브리드 코르티컬 영역에서 이미지에 대한 시각적 이동 동안 격자형 활동이 관찰됨으로써, 시각 인식이 공간 탐색과 유사한 동적이고 순차적인 샘플링 메커니즘을 통해 처리될 수 있음을 시사한다.