[論文レビュー] The Neuroscience of Transformers

Peter Koenig, Mario Negrello|arXiv (Cornell University)|Mar 16, 2026

Functional Brain Connectivity Studies被引用数 0

ひとこと要約

論文は、トランスフォーマーのような文脈依存・乗算的ルーティングを脳内の可能性のある計算モチーフとして見る皮質コラムベースのマッピングを提案し、検証可能な予測と神経科学とAIの相互作用の枠組みを提供する。

ABSTRACT

Neuroscience has long informed the development of artificial neural networks, but the success of modern architectures invites, in turn, the converse: can modern networks teach us lessons about brain function? Here, we examine the structure of the cortical column and propose that the transformer provides a natural computational analogy for multiple elements of cortical microcircuit organization. Rather than claiming a literal implementation of transformer equations in cortex, we develop a hypothetical mapping between transformer operations and laminar cortical features, using the analogy as an orienting framework for analysis and discussion. This mapping allows us to examine in greater depth how contextual selection, content routing, recurrent integration, and interlaminar transformations may be distributed across cortical circuitry. In doing so, we generate a broad set of predictions and experimentally testable hypotheses concerning laminar specialization, contextual modulation, dendritic integration, oscillatory coordination, and the effective connectivity of cortical columns. This proposal is intended as a structured hypothesis rather than a definitive account of cortical computation. Placing transformer operations and cortical architectonics into a common descriptive framework sharpens questions, reveals new functional correspondences, and opens a productive route for reciprocal exchange between systems neuroscience and modern AI. More broadly, this perspective suggests that comparing brains and architectures at the level of computational organization can yield genuine insight into both.

研究の動機と目的

• トランスフォーマーアーキテクチャと皮質マイクロサーキット組織の対話を動機づける。
• トランスフォーマーの構成要素を層状の皮質特徴と一致させるモジュール化されたコラム型マッピングを提案する。
• 脳内の層特化、ゲーティング、結合性を探るための仮説的でありながら検証可能な枠組みを提供する。
• トランスフォーマーと脳由来モデルが皮質計算の理解に相互に情報を与え合う方法について指針を提供する。

提案手法

• トランスフォーマーの構成要素（クエリ、キー、バリュー、フィードフォワードネットワーク）を層状回路へ皮質コラムベースでマッピングする。
• コラムモジュールと層状フィードバックに合わせてトランスフォーマーアーキテクチャを再編成し、モジュール化された再利用可能な単位を提案する。
• トランスフォーマーの操作を皮質マイクロサーキット要素（L4入力埋め込み、L2/3/5- 相互作用、樹状突起のゲーティング）へ結びつける詳細な説明を行う。
• 注意機構のようなゲーティングが皮質回路内の利得変調と樹状突起の非線形性から生じ得ることを論じる。
• このマッピングを文字通りの実装ではなく、入力–出力変換の共有フレームワークを強調する組織的仮説として位置づける。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー風の文脈依存・乗算的ルーティングは皮質コラムと層状回路内で妥当に実現し得るか。
• RQ2 モジュール化されたトランスフォーマー風ユニットを皮質マイクロサーキットへ、フィードフォワード再符号化と注意のような機構を含めてどの程度マッピングできるか。
• RQ3 皮質特化、文脈モジュレーション、実効結合性について、トランスフォーマー–皮質マッピングからどんな予測が生じるか。
• RQ4 トランスフォーマーが脳機能の計算仮説として機能し得る一方、皮質原則がトランスフォーマー設計にどのように情報を提供できるか。

主な発見

• 著者らは、皮質コラムを機能的モジュールとして捉え、層間ループと利得変調を介してトランスフォーマー風計算を実装できると提案する。
• このマッピングにおける注意は、樹状突起の非線形性や乗算的ゲーティングといった皮質メカニズム、および皮質内接続と上位ダウンストリーム接続によって実現されると主張する。
• 注意はコラム内およびコラム間を横方向およびフィードバック経路を介して実現され、皮質組織全体で多頭的並列性を可能にする。
• この研究は、トランスフォーマーを皮質計算を理解するための組織的枠組みとして位置づけ、1対1のハードウェアマッピングではなく柔軟で非文字通りの同値性を強調する。
• 本研究は、層特化、文脈モジュレーション、実効結合性に関する実験的に検証可能な仮説を生み出す可能性があることを強調する。