[論文レビュー] Joint processing of linguistic properties in brains and language models

Subba Reddy Oota, Manish Gupta+1 more|arXiv (Cornell University)|Dec 15, 2022

Topic Modeling被引用数 12

ひとこと要約

本研究では、BERTおよびGPT-2の表現から特定の言語的性質（表層的、構文的、意味的）を隔離して除去する直接的介入手法を導入し、構文的特徴、特にトップ構成要素（Top Constituents）と木の深さ（Tree Depth）がモデル層全体にわたり脳の整合性に最も強い影響を及ぼしていることを明らかにした。任意の言語的性質を除去すると、fMRI記録との整合性が著しく低下し、言語モデルと人間の脳活動の間の観察された一致が、これらの性質の共同処理に起因していることを示している。

ABSTRACT

Language models have been shown to be very effective in predicting brain recordings of subjects experiencing complex language stimuli. For a deeper understanding of this alignment, it is important to understand the correspondence between the detailed processing of linguistic information by the human brain versus language models. We investigate this correspondence via a direct approach, in which we eliminate information related to specific linguistic properties in the language model representations and observe how this intervention affects the alignment with fMRI brain recordings obtained while participants listened to a story. We investigate a range of linguistic properties (surface, syntactic, and semantic) and find that the elimination of each one results in a significant decrease in brain alignment. Specifically, we find that syntactic properties (i.e. Top Constituents and Tree Depth) have the largest effect on the trend of brain alignment across model layers. These findings provide clear evidence for the role of specific linguistic information in the alignment between brain and language models, and open new avenues for mapping the joint information processing in both systems. We make the code publicly available [https://github.com/subbareddy248/linguistic-properties-brain-alignment].

研究の動機と目的

• 特定の言語的性質が、脳の活動と事前学習済み言語モデルとの間の整合性にどのように寄与しているかを調査すること。
• fMRI記録と言語モデル表現の間の観察された一致を最も引き起こしている言語的特徴を特定すること。
• 言語情報のモデル表現に内在する特定の言語的性質を隔離し、脳の整合性に与える影響を評価できる直接的介入手法を開発・検証すること。
• 高レベルの言語処理がモデル階層のどこに位置するかという対立する見解を解消するために、個々の言語的性質の機能的役割を検証すること。
• 脳モデルの整合性に起因する言語的特徴を同定することで、より解釈可能で認知的に妥当なAIを実現すること。

提案手法

• 各言語的性質（例：トップ構成要素、木の深さ）をBERT/GPT-2の隠れ状態にマッピングする線形射影関数を学習し、その性質が含まれない残差表現の推定を可能にする。
• 元のモデル表現から予測された言語的寄与を差し引くことで、残差表現を取得し、その性質の影響を効果的に除去する。
• fMRI活動を、完全な言語モデル表現および残差表現から予測する線形符号化モデルを学習し、除去前後における脳の整合性を測定する。
• 整合性の差の統計的有意性を検定し、特定の言語的性質の除去が脳の整合性に顕著に影響を与えるかどうかを判断する。
• モデル層全体にわたり、復号性能の変化と脳の整合性の変化の間の相関分析を実施し、全体の整合性トレンドを形作る言語的性質を同定する。
• 言語領域（例：IFG、MFG、PCC、ATL、PTL）およびその亜領域にわたって本手法を適用し、言語的特徴の寄与が領域特異的であるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 言語モデル表現とfMRI脳記録との間の整合性を最も強く決定づけている言語的性質は何か？
• RQ2 個々の言語的性質を除去することで、BERTおよびGPT-2の各層における脳の整合性トレンドにどのような影響が生じるか？
• RQ3 構文的、意味的、表層的性質のうち、特定の脳領域で不釣り合いな影響を及ぼすものがあるか？
• RQ4 言語モデルの中層で観察される脳の整合性のピークは、どの程度言語的特徴によって説明可能か？
• RQ5 この介入ベースのアプローチは、他の言語モデルや言語的性質へ一般化可能か？

主な発見

• 表層的、構文的、意味的性質のいずれかを除去しても、BERTおよびGPT-2の全層において脳の整合性が著しく低下する。
• トップ構成要素（Top Constituents）は、全言語領域にわたり中層でのピーク整合性を主に駆動しており、BERTの各層における整合性トレンドに最も大きな全体的影響を及ぼしている。
• 木の深さ（Tree Depth）は、側頭部（ATL、PTL）および前頭部（IFG、MFG）の言語領域において整合性に顕著な影響を及ぼしており、領域特異的な構文処理の存在を示唆している。
• 時制（Tense）、主語数（Subject Number）、目的語数（Object Number）といった意味的性質は、PCCのようなより意味的領域との整合性に強い局所的効果を示している。
• 全テスト対象言語的性質を除去しても、依然として顕著な脳の整合性が残っていることから、測定されていない言語的または非言語的要因も、整合性に寄与していることが示唆される。
• GPT-2に対しても同様の結果が再現されており、本研究の発見が異なるモデルアーキテクチャーや学習目的に対して堅牢であることが示されている。