[論文レビュー] Disentangling Syntax and Semantics in the Brain with Deep Networks

Charlotte Caucheteux, Alexandre Gramfort+1 more|arXiv (Cornell University)|Mar 2, 2021

Neurobiology of Language and Bilingualism参考文献 53被引用数 33

ひとこと要約

この論文は、GPT-2の活性化を語彙的、構成的、統語的、意味論的表現に因数分解する分類法を提案し、次にこれらの因数分解された活性化を345名の被験者が物語を聴取する際のfMRI脳データにマッピングし、分散的でモジュール化されていない統語および意味論的基盤を明らかにする。

ABSTRACT

The activations of language transformers like GPT-2 have been shown to linearly map onto brain activity during speech comprehension. However, the nature of these activations remains largely unknown and presumably conflate distinct linguistic classes. Here, we propose a taxonomy to factorize the high-dimensional activations of language models into four combinatorial classes: lexical, compositional, syntactic, and semantic representations. We then introduce a statistical method to decompose, through the lens of GPT-2's activations, the brain activity of 345 subjects recorded with functional magnetic resonance imaging (fMRI) during the listening of ~4.6 hours of narrated text. The results highlight two findings. First, compositional representations recruit a more widespread cortical network than lexical ones, and encompass the bilateral temporal, parietal and prefrontal cortices. Second, contrary to previous claims, syntax and semantics are not associated with separated modules, but, instead, appear to share a common and distributed neural substrate. Overall, this study introduces a versatile framework to isolate, in the brain activity, the distributed representations of linguistic constructs.

研究の動機と目的

• 人工および生物学的神経ネットワークの語彙的、構成的、統語的、意味 representationsを分離するための明確で操作可能な分類法を動機づける。
• 深層言語モデルから統語表現を抽出し、それに対応して脳表現を分解する方法を開発する。
• 共有された脳-モデル表現が統語と意味論の局在化か分布化かを評価する。
• 自然語リスニング中のGPT-2活性化（語彙クラス別に因数分解）とfMRI信号との対応を大規模コホートで評価する。

提案手法

• 分散活性化における語彙的、構成的、統語的、意味表現を区別する5ポイントの分類法を定義する。
• 同じ統語を持つ文を合成し、GPT-2の活性化を平均化して統語表現を分離する（overline{X}）。
• モデルの活性化X（および統語的抽出のoverline{X}）をスパイオ時系列符号化モデルとリッジ回帰・FIR遅延を用いて脳信号Yへマッピングする。
• GPT-2の層を横断して語彙、構成、統語、意味成分に脳スコアを分解し、統語合成ベースラインと比較する。
• Narratives fMRIデータセット（345名、約4時間の物語）にこの方法を適用し、層とアーキテクチャを横断して一般化を検証する。

実験結果

リサーチクエスチョン

• RQ1 GPT-2と脳活動の両方において、語彙的、構成的、統語的、意味表現を分離する頑健な分類法は機能するか。
• RQ2 統語的および意味的表現は局在化された独立モジュールへとマッピングされるのか、それとも分布的基盤へとマッピングされるのか。
• RQ3 構成表現は脳マッピングにおいて語彙表現とどのように比較され、どこに分布しているのか。
• RQ4 層と異なるトランスフォーマーアーキテクチャ間で脳-モデルマッピングは安定しているか。

主な発見

• 構成的表現は語彙表現よりも広範な皮質ネットワークを動員し、両側の側頭葉・頭頂葉・前頭前野皮質を含む。
• 統語と意味は分離したモジュールに限定されず、共通で分布的な神経基盤を共有する。
• 文脈的（深い）層（例：GPT-2 layer 9）が語彙埋め込みよりも高い脳スコアをもたらし、言語構造のエンコーディングがより強いことを反映する。
• 統語表現は統語的に一致した合成文の活性化を平均化することでGPT-2から抽出でき、脳マッピングに依然として情報を提供する。
• 構成的統語と構成的意味は分布的な脳関与を示し、側頭葉・前頭前野皮質・帯状回・上扁桃体、頭頂間葉、中央前頭部などをピークとする。
• 層とアーキテクチャを横断して一般化する発見であり、中間層のGPT-2がしばしば最も強い脳スコアを生み、他のトランスフォーマーモデルでも同様の傾向が観察される。