[論文レビュー] Relating transformers to models and neural representations of the hippocampal formation

James C. R. Whittington, Joseph W. Warren+1 more|arXiv (Cornell University)|Dec 7, 2021

Neural Networks and Applications被引用数 59

ひとこと要約

再帰的な位置エンコーディングを用いるトランスフォーマーは、海馬の空間表現（場所細胞/格子細胞）を再現でき、Tolman-Eichenbaum Machine (TEM) のような海馬モデルと密接に関連する；トランスフォーマーの派生形（TEM-t）は顕著な性能向上をもたらし、海馬のインデックス付けと学習済み位置エンコーディングへの新たな洞察を提供する。

ABSTRACT

Many deep neural network architectures loosely based on brain networks have recently been shown to replicate neural firing patterns observed in the brain. One of the most exciting and promising novel architectures, the Transformer neural network, was developed without the brain in mind. In this work, we show that transformers, when equipped with recurrent position encodings, replicate the precisely tuned spatial representations of the hippocampal formation; most notably place and grid cells. Furthermore, we show that this result is no surprise since it is closely related to current hippocampal models from neuroscience. We additionally show the transformer version offers dramatic performance gains over the neuroscience version. This work continues to bind computations of artificial and brain networks, offers a novel understanding of the hippocampal-cortical interaction, and suggests how wider cortical areas may perform complex tasks beyond current neuroscience models such as language comprehension.

研究の動機と目的

• 再帰的な位置エンコーディングを持つトランスフォーマーが、格子細胞や場所細胞などの海馬の空間表現を再現することを示す。
• トランスフォーマーと海馬形成の neuroscience モデル（TEM）との密接な数学的関係を確立する。
• 海馬のインデックス付けに触発された新しい位置エンコーディングおよび記憶検索の解釈を提案する。
• TEMに触発されたトランスフォーマー（TEM-t）が、元の TEM より学習効率と記憶容量を改善することを示す。
• 海馬-皮質の相互作用へのより広い影響と、非空間的な認知領域への潜在的応用を論じる。

提案手法

• 標準的な Transformer の self-attention とその方程式を説明し、クエリとキーが位置エンコーディングに焦点を合わせ、値が刺激に依存する修正設定を導入する。
• 過去の位置と刺激の記憶を持つ因果的なトランスフォーマーを用い、過去の時刻へのアクセスを制限する（因果的マスク）。
• 位置エンコーディングを e_{t+1}=sigma(e_t W_a) を用いて再帰的に生成する。エンコーディングは学習され、系列依存となる。
• エージェントが行動に基づき2D環境で今後の感覚観測を予測する空間予測タスクで訓練し、抽象的な空間規則の一般化を要求する。
• TEMモデルを Transformer の self-attention に関連づけ、記憶検索と結合表現が注意機構に写像されることを示し、TEM-t の定式化を導く。
• TEM-tをTEMと比較し、データ効率、スケーラビリティ、記憶容量の改善を強調する。

実験結果

リサーチクエスチョン

• RQ1 再帰的位置エンコーディングを持つトランスフォーマーは、空間予測タスクで訓練された場合、海馬の空間表現（格子細胞と場所細胞）を再現できるだろうか？
• RQ2 TEM（Tolman-Eichenbaum Machine）と Transformer self-attention の数学的関係は何か、そしてこれは海馬の記憶結合の理解にどう影響するか？
• RQ3 TEM-t はデータ効率と記憶容量の点で TEM より性能上の利点を示すか？
• RQ4 TEM-t における学習済み位置エンコーディングは海馬様の表現とどのように関連し、言語などの非空間的な認知領域へ一般化する可能性があるか？

主な発見

• 再帰的位置エンコーディングを持つトランスフォーマーは、entorhinal/海馬回路で観察される格子細胞や帯状細胞に似た空間表現を学習する。
• TEM-t は元の TEM に比べて劇的な性能向上をもたらし、より高いデータ効率とより多くの記憶の蓄積・検索能力を含む。
• 数理的な枠組みは、TEM の記憶検索がトランスフォーマーの self-attention に類似しており、経路積分エンコーディングが学習された位置エンコーディングとして機能することを示す。
• TEM-t はニューロン的に妥当なアーキテクチャとして実装され、海馬の記憶が皮質パターンをインデックス付けすることを示し、海馬のインデックス付け理論と整合する。
• 場所細胞様の応答が、環境特異的なリマップを伴う記憶ニューロンに現れ、海馬データとモデルの予測と一致する。