[논문 리뷰] Do grid codes afford generalization and flexible decision-making?

Linda Q. Yu, Seongmin A. Park외 3명|arXiv (Cornell University)|2021. 06. 30.

Cognitive Science and Mapping참고 문헌 145인용 수 4

한 줄 요약

이 논문은 허브리널 코르티시스의 격자 코드가 추상적이고 비공간적 과제에서 일반화와 적응적 의사결정을 가능하게 하여 행동의 유연성을 어떻게 지원할 수 있는지 조사한다. 두 가지 상호보완적인 메커니즘을 제안한다: 격자 코드가 스토리서 포지션(성공자 표현, SR)의 고유벡터로서 작용하여 상태 전이를 학습하는 데 효율적인 기반을 제공하고, 격자 코드가 전역 과제 조직을 반영하는 인수분해된 구조적 코드로서 작용하여 새로운 경험 없이도 한 번에 추론할 수 있도록 한다.

ABSTRACT

Behavioral flexibility is learning from previous experiences and planning appropriate actions in a changing or novel environment. Successful behavioral adaptation depends on internal models the brain builds to represent the relational structure of an abstract task. Emerging evidence suggests that the well-known roles of the hippocampus and entorhinal cortex (HC-EC) in integrating spatial relationships into cognitive maps can be extended to map the transition structure between states in non-spatial abstract tasks. However, what the EC grid-codes actually compute to afford generalization remains elusive. We introduce two non-exclusive ideas regarding what grid-codes may represent to afford higher-level cognition. One idea is that grid-codes are eigenvectors of the successor representation (SR) learned online during a task. This view assumes that the grid codes serve as an efficient basis function for learning and representing experienced relationships between entities. Subsequently, the grid codes facilitate generalization in novel contexts such as when the goal changes. The second idea is that the grid-codes reflect the inferred global task structure. This view assumes that the grid-code represents a structural code that is factorized from specific sensory content, enabling structural information to be transferred across tasks. Subsequently, the brain could afford one-shot inferences without requiring experience. The ability to generalize experiences and make appropriate decisions in novel situations is critical for both animals and machines. Here we review proposed computations of the grid-code in the brain, which is potentially critical to behavioral flexibility.

연구 동기 및 목표

• 허브리널 코르티시스의 격자 코드가 공간 주행을 초월하여 행동의 유연성을 어떻게 지원하는지 이해하기 위해.
• 격자 코드가 추상적이고 비공간적 과제에서 관계적 구조를 어떻게 표현할 수 있는지 조사하기 위해.
• 격자 코드가 상태 전이를 학습하는 데 효율적인 기반으로 기능하는가 평가하기 위해 (성공자 표현을 통해).
• 격자 코드가 전역 과제 구조의 인수분해된 추상적 표현을 어떻게 코딩하여 한 번에 추론할 수 있는지 검토하기 위해.
• 해마-허브리널 회로 기능을 고수준 인지 및 동적 환경에서의 의사결정과 연결하기 위해.

제안 방법

• 격자 코드가 성공자 표현(SR)의 고유벡터로 나타나며, 향후 상태 점유를 예측하는 가치 함수임을 제안한다.
• 격자 코드를 과제 내 상태 간 전이 역학을 표현하기 위한 저차원적이고 구조화된 기반으로 모델링한다.
• 격자 유사 표현이 시간 차분 학습을 통해 과제 수행 중에 온라인으로 학습되는 계산 프레임워크를 도입한다.
• 과제 목적이 변경될 때도 기존 표현을 재가중하여 일반화를 가능하게 하는 방식으로 이러한 표현이 어떻게 작용하는지 분석한다.
• 격자 코드가 감각 자극이나 특정 보상과는 독립적으로 과제의 구조적 추상화를 코딩한다고 고려한다.
• 다양한 과제 간에 격자 코드의 인수분해된 불변 구조를 활용하여 한 번에 추론할 잠재력을 평가한다.

실험 결과

연구 질문

• RQ1 허브리널 코르티시스의 격자 코드는 비공간 과제에서 상태 전이 역학을 표현하는 데 효율적인 기반으로 기능할 수 있는가?
• RQ2 격자 코드는 감각 자극이나 보상 특이적 세부 정보와는 독립적으로 과제의 전반적 구조 조직을 어느 정도 반영하는가?
• RQ3 과제 목적이나 맥락이 변경될 때 격자 코드는 새로운 학습 없이도 일반화를 어떻게 지원하는가?
• RQ4 격자 코드는 경험으로부터 과제 구조를 추상화하여 한 번에 추론을 가능하게 할 수 있는가?
• RQ5 추상적이고 비공간적 의사결정에서 격자 유사 표현이 어떻게 기능하는지 뒷받질하는 계산적 메커니즘은 무엇인가?

주요 결과

• 격자 코드는 성공자 표현(SR)의 고유벡터로 기능할 수 있으며, 이는 상태 전이 역학을 학습하고 일반화하는 데 수학적으로 효율적인 기반을 제공한다.
• 이 SR 기반의 격자 코드 표현은 과제 목적이 변경될 때 행동의 빠른 재구성 가능성을 제공하여 행동의 민첩한 의사결정을 지원한다.
• 격자 코드는 과제 토폴로지의 인수분해된 추상적 구조를 표현할 수 있으며, 이는 다양한 과제 간에 구조 지식을 이동시킬 수 있도록 한다.
• 격자 코드가 코딩하는 구조적 추상화는 뇌가 새로운 과제 구성에 대해 새로운 경험 없이도 추론할 수 있도록 하여 한 번에 추론을 지원할 수 있다.
• 전이 역학을 표현하는 것과 전역 구조를 표현하는 것이라는 이중적 역할은 격자 코드가 추상적 추론에서 인지적 민첩성과 일반화의 중심적 역할을 한다는 것을 시사한다.
• 이러한 메커니즘은 해마-허브리널 시스템이 변화하거나 새로운 환경에서 적응적 행동을 지원하는 데 있어 신경계산적 설명을 제공한다.