[논문 리뷰] Relating transformers to models and neural representations of the hippocampal formation

James C. R. Whittington, Joseph W. Warren외 1명|arXiv (Cornell University)|2021. 12. 07.

Neural Networks and Applications인용 수 59

한 줄 요약

순환 위치 인코딩을 갖는 트랜스포머는 해마의 공간 표상(플레이스 셀/그리드 셀)을 재현할 수 있으며 Tolman-Eichenbaum Machine (TEM)과 같은 해마 모델과도 밀접하게 관련된다; Transformer 변형(TEM-t)은 의미 있는 성능 향상을 제공하고 해마 인덱싱 및 학습된 위치 인코딩에 대한 새로운 통찰을 제시한다.

ABSTRACT

Many deep neural network architectures loosely based on brain networks have recently been shown to replicate neural firing patterns observed in the brain. One of the most exciting and promising novel architectures, the Transformer neural network, was developed without the brain in mind. In this work, we show that transformers, when equipped with recurrent position encodings, replicate the precisely tuned spatial representations of the hippocampal formation; most notably place and grid cells. Furthermore, we show that this result is no surprise since it is closely related to current hippocampal models from neuroscience. We additionally show the transformer version offers dramatic performance gains over the neuroscience version. This work continues to bind computations of artificial and brain networks, offers a novel understanding of the hippocampal-cortical interaction, and suggests how wider cortical areas may perform complex tasks beyond current neuroscience models such as language comprehension.

연구 동기 및 목표

• 순환 위치 인코딩을 갖는 트랜스포머가 격자(grid) 및 장소(place) 셀과 같은 해마 공간 표상을 재현한다는 것을 입증한다.
• 트랜스포머와 해마 형성의 뇌과학 모델(TEM) 사이의 수학적 관계를 확립한다.
• 트랜스포머의 위치 인코딩과 기억 검색에 대한 새로운 해마 인덱싱 영감 해석을 제시한다.
• TEM-영감을 받은 트랜스포머(TEM-t)가 원래 TEM 대비 학습 효율성과 기억 용량을 향상시키는 방법을 보여준다.
• 해마-피질 상호작용에 대한 더 넓은 시사점과 비공간 인지 도메인(예: 언어)에의 응용 가능성을 논의한다.

제안 방법

• 표준 Transformer의 자기주 attention과 그 수식을 설명하고 위치 인코딩에 집중하고 값은 자극에 의존하는 수정된 설정을 도입한다.
• 과거 위치와 자극에 대한 기억을 가지는 인과적 트랜스포머를 사용하고 과거 시간 스텝에 대한 접근을 제한한다(인과적 마스킹).
• e_{t+1}=sigma(e_t W_a)로 위치 인코딩을 순환적으로 생성하여 인코딩이 학습되고 시퀀스 의존적이 되도록 한다.
• 에이전트가 2D 환경에서 행동을 주면 다가오는 감각 관찰을 예측하는 공간 예측 작업으로 학습하여 추상적 공간 규칙 일반화를 요구한다.
• TEM 모델을 Transformer의 자기 주의와 연결하여 기억 검색과 결합 표현이 주의 메커니즘에 매핑되는 것을 보여주고 TEM-t 공식화를 도출한다.
• TEM-t를 TEM과 비교하여 샘플 효율성, 확장성, 기억 저장 측면의 개선을 강조한다.

실험 결과

연구 질문

• RQ1 순환 위치 인코딩을 갖는 Transformer가 공간 예측 작업에서 훈련될 때 해마의 공간 표상(그리드 및 장소 셀)을 재현할 수 있는가?
• RQ2 TEM(Tolman-Eichenbaum Machine)과 Transformer 자기 주의의 수학적 관계는 무엇이며 이것이 해마 기억 결합에 대한 우리의 이해를 어떻게 informing 하는가?
• RQ3 TEM-t가 데이터 효율성과 기억 용량 측면에서 TEM에 비해 성능 이점을 제공하는가?
• RQ4 TEM-t의 학습된 위치 인코딩은 해마 유사 표상과 어떻게 관련되며 언어와 같은 비공간 인지 도메인으로 일반화될 가능성이 있는가?

주요 결과

• 순환 위치 인코딩을 갖는 Transformer는 엔트로널-해마 회로에서 관찰되는 격자 및 띠 셀과 유사한 공간 표상을 학습한다.
• TEM-t는 원래 TEM에 비해 샘플 효율성 증가 및 더 많은 기억을 저장/검색할 수 있는 등 극적인 성능 향상을 제공한다.
• 수학적 프레이밍은 TEM 기억 검색이 Transformer 자기 주의에 비유되며 경로 통합 인코딩이 학습된 위치 인코딩으로 작동함을 보여준다.
• TEM-t가 해마 기억이 피질 패턴을 인덱싱하는 신경생리학적으로 타당한 구조로 구현되어 해마 인덱싱 이론과 일치한다.
• 환경 특이적 재배치와 함께 기억 뉴런에서 장소-세포 유사 반응이 나타나 해마 데이터 및 모델의 예측과 일치한다.