[論文レビュー] Language models and brains align due to more than next-word prediction and word-level information

Gabriele Merlin, Mariya Toneva|arXiv (Cornell University)|Dec 1, 2022

Topic Modeling被引用数 14

ひとこと要約

本研究では、言語モデル（LM）の脳記録との整合性が、単に次単語予測と語彙レベルの意味に起因するのかを検討する。ストレッサー・チューニング（物語文で微調整）と語順の入れ替え（予測可能性を損なうが意味は保持）を適用することで、著者らは、次単語予測と語彙レベルの意味を制御した状態でも、特に下側前頭回（IFG）および角回（AG）で改善された脳との整合性が維持されることを示し、多語彙的意味がLM-脳整合性において中心的な役割を果たしていることを示唆している。

ABSTRACT

Pretrained language models have been shown to significantly predict brain recordings of people comprehending language. Recent work suggests that the prediction of the next word is a key mechanism that contributes to this alignment. What is not yet understood is whether prediction of the next word is necessary for this observed alignment or simply sufficient, and whether there are other shared mechanisms or information that are similarly important. In this work, we take a step towards understanding the reasons for brain alignment via two simple perturbations in popular pretrained language models. These perturbations help us design contrasts that can control for different types of information. By contrasting the brain alignment of these differently perturbed models, we show that improvements in alignment with brain recordings are due to more than improvements in next-word prediction and word-level information.

研究の動機と目的

• 次単語予測と語彙レベルの意味が、言語モデルが脳記録と整合するのに必要かどうかを検証すること。
• 次単語予測、語彙レベルの意味、多語彙的意味の寄与を分離し、脳との整合性に与える影響を解明すること。
• 微調整後の脳との整合性の向上が、予測性能の向上か、より豊かな意味的表現の向上によるものかを調査すること。
• 次単語予測を破壊しながら語彙レベルの意味を保持した状態でも、脳との整合性が維持されるかどうかを評価すること。
• 主な言語処理脳領域で整合性を引き起こす特定の言語的情報タイプを同定すること。

提案手法

• 物語文の保留データセットで事前学習済みのGPT-2モデルを微調整（ストレッサー・チューニング）し、特定のテキストにおける次単語予測と意味表現を向上させること。
• 推論時に語順の入れ替えを適用し、次単語予測を劣化させるが、語彙レベルの意味と多語彙的意味構造を可能な限り保持すること。
• 被験者が同じ物語を聴いている間のfMRI記録と言語モデル表現との相関を測定することで、脳との整合性を評価すること。
• 複数の脳領域において、ベースライン、ストレッサー・チューニング済み、および入れ替え済みバージョンのモデル間で整合性性能を比較すること。
• 入れ替え済みおよび元の入力に対する次単語予測性能を追跡し、入れ替えによって予測可能性が低下しているが意味的内容は保持されていることを確認すること。
• 文法的および出来事構造処理に寄与すると知られる2つの言語関連脳領域、すなわち下側前頭回（IFG）と角回（AG）に焦点を当てて分析すること。

実験結果

リサーチクエスチョン

• RQ1 次単語予測が言語モデル表現と脳記録との整合性に必要であるのか、それとも十分であるだけなのか？
• RQ2 微調整後の語彙レベルの意味の向上が、脳との整合性の向上にどの程度寄与しているのか？
• RQ3 語順の入れ替えによって次単語予測が破壊されても、語彙レベルの意味が保持された状態で、脳との整合性が維持されるのか？
• RQ4 IFGおよびAGにおける整合性を最も引き起こしている言語的情報—次単語予測、語彙レベルの意味、多語彙的意味—のうち、どれが最も重要なのか？
• RQ5 小さな物語テキストで微調整することで、未観測の刺激における脳記録との整合性が向上するのか？その向上は予測の向上を超えた意味的豊かさに起因するのか？

主な発見

• ストレッサー・チューニングは、特に下側前頭回（IFG）および角回（AG）において、言語モデルと脳記録との整合性を顕著に向上させる。
• 語順の入れ替えは、ベースラインおよびストレッサー・チューニング済みモデルの両方で、次単語予測性能を同程度に低下させ、予測可能性が損なわれたことを確認した。
• 同じ程度の次単語予測性能の低下にもかかわらず、入れ替え後もストレッサー・チューニング済みモデルはベースラインよりも顕著に高い脳との整合性を維持しており、整合性が予測に起因するものではないことを示している。
• IFGおよびAGで整合性が保持されていることは、文法的構造や出来事レベルの意味といった多語彙的意味が、脳との整合性に顕著に寄与している可能性を示唆している。
• 微調整後の脳との整合性の向上は、次単語予測の向上や語彙レベルの意味の向上では完全に説明されず、より豊かな多語彙的意味的表現の一部に起因していることが示された。
• これらの結果は、IFGやAGといった脳領域が多語彙的意味的構造に感受性を示しており、それらの領域が文法的および出来事レベルの処理に関与しているという知見と整合している。