[논문 리뷰] Generalisation of structural knowledge in the hippocampal-entorhinal system

James C. R. Whittington, Timothy Müller외 3명|arXiv (Cornell University)|2018. 05. 23.

Memory and Neural Mechanisms참고 문헌 24인용 수 22

한 줄 요약

이 논문은 뇌의 구조적 지식 일반화가 해마 피질의 계층적 격자형 표현과 감각 자극에 구조를 결합하는 조건부 피어싱 세포 코드를 통해 공간적 구조를 감각 자극에서 분리함으로써 발생한다고 제안한다. 인공 신경망에서 이 메커니즘은 제로샷 추론과 계층적 메모리 주소 지정을 가능하게 하며, 실험 데이터는 격자세포-피어싱 세포 관계가 환경 간에 유지됨을 확인하여 구조적 일반화의 통합적 기반을 뒷받침한다.

ABSTRACT

A central problem to understanding intelligence is the concept of generalisation. This allows previously learnt structure to be exploited to solve tasks in novel situations differing in their particularities. We take inspiration from neuroscience, specifically the hippocampal-entorhinal system known to be important for generalisation. We propose that to generalise structural knowledge, the representations of the structure of the world, i.e. how entities in the world relate to each other, need to be separated from representations of the entities themselves. We show, under these principles, artificial neural networks embedded with hierarchy and fast Hebbian memory, can learn the statistics of memories and generalise structural knowledge. Spatial neuronal representations mirroring those found in the brain emerge, suggesting spatial cognition is an instance of more general organising principles. We further unify many entorhinal cell types as basis functions for constructing transition graphs, and show these representations effectively utilise memories. We experimentally support model assumptions, showing a preserved relationship between entorhinal grid and hippocampal place cells across environments.

연구 동기 및 목표

• 해마-해마피질 시스템이 새로운 상황 간에 구조적 지식을 어떻게 일반화하는지 이해하는 것.
• 통계적 패턴은 학습하지만 명시적 구조적 추상화가 없는 인공지능의 한계를 해결하는 것.
• 다양한 해마세포 유형(격자세포, 경계세포, 물체 벡터 세포)을 전이 통계의 기저 기능으로 통합하는 것.
• 피어싱 세포의 재배열이 무작위가 아니며, 순수히 자극 유도가 아니라 구조적 지식과 일관된가를 검증하는 것.
• 계층적이고 비지도 학습을 통한 인공신경망이 제로샷 추론과 메모리 주소 지정을 지원하는 뇌 유사 표현을 생성할 수 있음을 보여주는 것.

제안 방법

• 모델는 2차원 그래프 세계에서 구조적 연결성을 가진 감각 관측을 예측하는 데에 순수하게 비지도 방식으로 훈련된 인공신경망을 사용한다.
• 격자형 표현은 해마피질 층에서 전이 통계의 기저 기능으로 나타나며, 그래프의 잠재적 기하학적 구조를 인코딩한다.
• 피어싱 세포는 격자 기반의 구조적 코드와 감각 입력을 결합하여 조건부 히브 신경 기억을 형성함으로써 빠르고 맥락에 특화된 연관을 가능하게 한다.
• 계층적 아키텍처는 효율적인 조합적 코드화를 가능하게 하여 시스템이 미리 보지 않은 그래프 구조로 일반화할 수 있도록 한다.
• 모델는 감각 자극과 구조적 표현 간의 단기적 연관을 유지하기 위해 빠른 히브 학습을 사용한다.
• 실험적 검증은 환경 간 격자-피어싱 세포 관계를 정량화하기 위해 gridAtPlace 및 minDist 지표를 계산하여, 셰플된 데이터의 근본 분포와 비교한다.

실험 결과

연구 질문

• RQ1 신경 시스템에서 감각 자극에서 분리된 구조적 지식이 일반화될 수 있는가?
• RQ2 다양한 환경 간에 격자세포가 피어싱 세포와의 관계를 유지하는가? 이는 구조적 일관성을 시사하는가?
• RQ3 피어싱 세포의 재배열이 무작위가 아니며, 순수히 자극 유도가 아니라 기저 구조적 지식과 일관된가?
• RQ4 계층적이고 히브 학습을 통한 인공신경망이 지도 없이도 구조적 통계의 일반화를 학습할 수 있는가?
• RQ5 통합된 기저 기능(예: 격자세포, 경계세포, 물체 벡터 세포)이 전이 통계를 함께 표현하여 일반화를 지원하는가?

주요 결과

• gridAtPlace 측정치는 다양한 환경 간에 피어싱 세포와 격자세포 사이에 유의미한 상관관계(p < 0.005)를 보이며, 기능적 관계가 유지됨을 시사한다.
• 최소 거리(minDist) 측정치 역시 환경 간에 상관관계를 보이며, 비무작위적 재배열을 지지한다.
• 환경 간 격자세포 활동 패턴의 상관관계가 유지됨(p < 0.001)하여 안정적인 구조적 표현이 있음을 나타낸다.
• 모델가 생성한 활동지도는 관측된 격자세포와 피어싱 세포 간 상관계수 0.3–0.35를 재현하며, 실측 데이터와 일치한다.
• 실측 및 모델 모두에서 격자세포 상관관계 행렬이 환경 간에 유의미하게 상관관계를 보이며, 구조적 불변성을 확인한다.
• 결과는 피어싱 세포가 비무작위적이고 구조 일관성 있는 방식으로 재배열됨을 지지하며, 조건부 코드화의 핵심 가정이 검증됨을 확인한다.