[논문 리뷰] The Neuroscience of Transformers

Peter Koenig, Mario Negrello|arXiv (Cornell University)|2026. 03. 16.

Functional Brain Connectivity Studies인용 수 0

한 줄 요약

논문은 뇌에서 트랜스포머와 유사한 맥락 의존적, 곱셈적 라우팅을 가능한 계산 모티프로 보는 피질-컬럼 기반 매핑을 제안하며, 검증 가능한 예측과 신경과학과 AI 간 교류 프레임워크를 제공한다.

ABSTRACT

Neuroscience has long informed the development of artificial neural networks, but the success of modern architectures invites, in turn, the converse: can modern networks teach us lessons about brain function? Here, we examine the structure of the cortical column and propose that the transformer provides a natural computational analogy for multiple elements of cortical microcircuit organization. Rather than claiming a literal implementation of transformer equations in cortex, we develop a hypothetical mapping between transformer operations and laminar cortical features, using the analogy as an orienting framework for analysis and discussion. This mapping allows us to examine in greater depth how contextual selection, content routing, recurrent integration, and interlaminar transformations may be distributed across cortical circuitry. In doing so, we generate a broad set of predictions and experimentally testable hypotheses concerning laminar specialization, contextual modulation, dendritic integration, oscillatory coordination, and the effective connectivity of cortical columns. This proposal is intended as a structured hypothesis rather than a definitive account of cortical computation. Placing transformer operations and cortical architectonics into a common descriptive framework sharpens questions, reveals new functional correspondences, and opens a productive route for reciprocal exchange between systems neuroscience and modern AI. More broadly, this perspective suggests that comparing brains and architectures at the level of computational organization can yield genuine insight into both.

연구 동기 및 목표

• 트랜스포머 아키텍처와 피질 미회로 조직 간의 대화를 촉진한다.
• 트랜스포머 구성요소가 피질의 층상 특징에 정렬되도록 모듈식, 컬럼형 매핑을 제안한다.
• 뇌의 층별 특화, 게이팅, 연결성 탐구를 위한 추정적이지만 검증 가능한 프레임워크를 제공한다.
• 트랜스포머와 뇌에서 영감을 받은 모델이 피질 계산 이해에 서로 정보를 주고받는 방법에 대한 가이드를 제공한다.

제안 방법

• 쿼리, 키, 값, 피드포워드 네트워크를 피질의 층상 회로에 매핑하는 컬럼 기반의 매핑을 제시한다.
• 컬럼 모듈과 층간 피드백에 맞추어 트랜스포머 아키텍처를 재구성하고 모듈식이며 재사용 가능한 유닛을 제안한다.
• 트랜스포머 연산을 피질 미회로 요소(L4 입력 임베딩, L2/3/5- 상호작용, 가지돌기 게이팅)에 연결하는 자세한 설명을 제공한다.
• 피질 회로 내 이득 변조와 가지돌기의 비선형성이 주의와 같은 게이팅을 어떻게 발생시킬 수 있는지 논의한다.
• 매핑을 문자 그대로의 구현이 아니라 조직적 가설로 제시하고 공유 입력-출력 변환 프레임워크를 강조한다.

실험 결과

연구 질문

• RQ1 트랜스포머와 같은 맥락 의존적 곱셈적 라우팅이 피질 컬럼과 층상 회로 내에서 그럴듯하게 구현될 수 있는가?
• RQ2 모듈식 트랜스포머 유닛이 피질 미회로에 얼마나 잘 매핑될 수 있으며, 순전(recoding) 및 주의 유사 메커니즘을 포함하는가?
• RQ3 트랜스포머-피질 매핑에서 층상 특화, 맥락 조절, 효과적 연결성에 대해 어떤 예측이 도출되는가?
• RQ4 트랜스포머가 뇌 기능에 대한 계산적 가설로서 어떤 역할을 할 수 있으며, 반대로 피질 원리가 트랜스포머 설계에 어떤 정보를 제공할 수 있는가?

주요 결과

• 저자들은 피질 컬럼을 층상 루프와 이득 변조를 통해 트랜스포머처럼 계산을 구현할 수 있는 기능적 모듈로 간주하는 것을 제안한다.
• 이 매핑에서의 주의는 가지돌기의 비선형성과 곱셈적 게이팅과 같은 피질 기전에서 비롯되며, 뇌 내 피질 내 연결과 상향피드백을 통해 구현된다고 주장한다.
• 이 매핑은 주의가 컬럼 내외의 수평 및 피드백 경로를 통해 구현되어 피질 조직 전반에서 다중헤드와 유사한 병렬성을 가능하게 한다고 시사한다.
• 본 연구는 융통성 있는 비문자적 등가성을 강조하며, 트랜스포머를 피질 계산을 이해하기 위한 조직적 프레임워크로 제시하고 일대일 하드웨어 매핑이 아님을 강조한다.
• 본 논문은 이 관점이 층상 특화, 맥락 조절, 효과적 연결성에 대한 실험적으로 검증 가능한 가설을 제시할 수 있음을 강조한다.