[論文レビュー] Long-range and hierarchical language predictions in brains and algorithms

Charlotte Caucheteux, Alexandre Gramfort+1 more|arXiv (Cornell University)|Nov 28, 2021

Neurobiology of Language and Bilingualism被引用数 11

ひとこと要約

本研究では、自然な会話理解の過程で、人間の脳が最先端の深層言語モデルを上回って、遠く離れた階層的な言語構造を予測していることが明らかになった。304名の被験者からのfMRIデータを用いて、脳の活動が最大8語先までの長距離の文法的・意味的予測を符号化しているのに対し、GPT-2モデルは線形的に脳の活性化とマッピングされているものの、そのような長距離依存関係を捉えられていないことが示された。

ABSTRACT

Deep learning has recently made remarkable progress in natural language processing. Yet, the resulting algorithms remain far from competing with the language abilities of the human brain. Predictive coding theory offers a potential explanation to this discrepancy: while deep language algorithms are optimized to predict adjacent words, the human brain would be tuned to make long-range and hierarchical predictions. To test this hypothesis, we analyze the fMRI brain signals of 304 subjects each listening to 70min of short stories. After confirming that the activations of deep language algorithms linearly map onto those of the brain, we show that enhancing these models with long-range forecast representations improves their brain-mapping. The results further reveal a hierarchy of predictions in the brain, whereby the fronto-parietal cortices forecast more abstract and more distant representations than the temporal cortices. Overall, this study strengthens predictive coding theory and suggests a critical role of long-range and hierarchical predictions in natural language processing.

研究の動機と目的

• 現在の深層学習モデルとは異なり、人間の脳が即時の文脈を超えて長距離かつ階層的な言語予測を行うかどうかを調査すること。
• 脳における予測コーディングが遠く離れた構造的予測を支える一方で、言語モデルは短距離予測に限定されることを仮説として検証すること。
• fMRIとモデル活性化解析を用いて、人間の脳と深層ニューラルネットワークにおける言語予測の深さと距離を定量化・比較すること。
• 脳の予測を文法的および意味的成分に分解し、それぞれが長距離予測に与える寄与を評価すること。
• 言語モデルに長距離予測表現を組み込むことで、人間の脳の活動と一致するようになるかどうかを評価すること。

提案手法

• 自然な言語処理中の神経応答を捉えるために、304名の被験者が約70分間の短編物語を聴取したfMRIデータを収集した。
• 被験者およびボクセルごとのGPT-2活性化とfMRI信号の間の線形マッピングを用いて、モデルと脳の表現を比較した。
• 予測スコアを、現在の文脈に未来の語列（距離dが異なるもの）を連結させた際の、脳の予測精度の上昇として定義し、線形回帰モデルを用いた。
• 予測距離を、被験者およびボクセル全体で予測スコアが最大になる距離dとして計算した。特に、非平坦な予測曲線を示す領域に焦点を当てた。
• GPT-2における予測性能が最大になるネットワーク層（k）を特定することで、予測深度を導入した。これにより、階層的処理の深さが明らかになった。
• 摂動法を用いてGPT-2活性化を文法的および意味的成分に分解した：同じ文法構造を保ちつつ10通りのランダムな意味的未来を生成し、それらの平均を取ることで文法的内容を分離した。

実験結果

リサーチクエスチョン

• RQ1 人間の脳は直近の次の語を超えて言語的内容を予測するのか？ もしそうなら、どの程度先まで予測できるのか？
• RQ2 GPT-2のような最先端の深層言語モデルと比較して、脳の長距離予測能力はどのように異なるのか？
• RQ3 脳における長距離予測は、文法的構造か意味的構造のどちらにより強く駆動されており、皮質領域ごとにどのように異なるのか？
• RQ4 ニューラルネットワークにおける表現の深さが、脳ベースの予測の深さを予測できるか？ また、この整合性は階層的処理レベル全体にわたって保たれるか？
• RQ5 長距離予測表現を言語モデルに組み込むことで、人間の脳の活動と一致するようになるか？

主な発見

• 人間の脳は最大8語先までの言語的内容を有意義な精度で予測しており、d=8で予測スコアのピークが観察された。一方、GPT-2モデルは同様の長距離予測性能を達成できなかった。
• 前上側 temporal sulcus（aSTS/mSTS）および下側前頭回（IFG）といった脳領域が、特に文法的および意味的コンテンツに対して有意な長距離予測スコアを示した。
• 脳における予測深度は、GPT-2の約第8層に対応しており、長距離予測がより抽象的で深い表現レベルで処理されていることを示している。
• d=8における予測スコアの比較から、文法的予測の方が意味的予測よりも強く、文法的成分のスコアが意味的成分よりも高いことが示された。
• d=8とd=0の間の予測スコアの差は、主要な言語領域において被験者全体で統計的に有意（p < 0.01）であり、非平坦で意味のある長距離予測が行われていることを確認した。
• GPT-2の活性化とfMRI信号の間には強い線形マッピングが見られたが、モデルが遠く離れた内容を予測できないため、脳のレベルでの長距離予測と根本的に不一致が生じている。