[論文レビュー] Training language models to summarize narratives improves brain alignment

Khai Loong Aw, Mariya Toneva|arXiv (Cornell University)|Dec 21, 2022

Topic Modeling被引用数 11

ひとこと要約

この論文は、物語要約タスクにおける言語モデルのファインチューニングが、言語理解に関連する脳領域において、人間の脳活動との整合性を顕著に向上させることを示している。特に、登場人物の表象においてその向上が顕著であり、単なる次トークン予測を越えた物語理解の深まりを示唆している。

ABSTRACT

Building systems that achieve a deeper understanding of language is one of the central goals of natural language processing (NLP). Towards this goal, recent works have begun to train language models on narrative datasets which require extracting the most critical information by integrating across long contexts. However, it is still an open question whether these models are learning a deeper understanding of the text, or if the models are simply learning a heuristic to complete the task. This work investigates this further by turning to the one language processing system that truly understands complex language: the human brain. We show that training language models for deeper narrative understanding results in richer representations that have improved alignment to human brain activity. We further find that the improvements in brain alignment are larger for character names than for other discourse features, which indicates that these models are learning important narrative elements. Taken together, these results suggest that this type of training can indeed lead to deeper language understanding. These findings have consequences both for cognitive neuroscience by revealing some of the significant factors behind brain-NLP alignment, and for NLP by highlighting that understanding of long-range context can be improved beyond language modeling.

研究の動機と目的

• 物語要約タスクでの言語モデルの訓練が、タスク固有のヒューリスティクスを超えて、より深い言語理解をもたらすかどうかを調査すること。
• 人間のfMRI反応との整合性の向上が、言語モデルにおける真の認知レベルの理解を示しているかどうかを評価すること。
• 観察された脳との整合性向上が、言語モデリング能力の向上によるものか、それともより深い文脈理解によるものかを特定すること。
• 物語の話法的特徴（例：登場人物、感情、動作）のうち、物語要約ファインチューニングによって脳との整合性が最も向上するものは何かを同定すること。

提案手法

• BookSumデータセットで、4つのベースライン言語モデル（BART、LED、BigBird、LongT5）をファインチューニングし、物語理解を向上させた。
• 8名の参加者が5176語のハリー・ポッターの章を読んだ際のfMRI記録を用いて、ベースモデルとBookSumファインチューニング済みモデルの脳との整合性を比較した。
• 線形符号化モデルを用いて、モデルの表象からfMRI反応を予測し、20v20指標を用いて整合性を測定した。
• 入力シーケンス長（最大1000語）とモデル層ごとの違いを変化させ、改善が生じる場所を特定した。
• 言語モデリング能力と物語理解の寄与を分離するためにアブレーションスタディを実施した。
• FDR補正を施した対応t検定とノイズシーリング推定を用いて、結果の統計的有意性と解釈可能性を検証した。

実験結果

リサーチクエスチョン

• RQ1 物語要約タスクでファインチューニングされた言語モデルは、物語理解の過程で人間の脳活動との整合性が向上するか？
• RQ2 観察された脳との整合性向上は、言語モデリング能力の向上によるものか、それともより深い物語理解によるものか？
• RQ3 物語要約ファインチューニング後、どの話法的特徴（例：登場人物、感情、動作）が脳との整合性で最も向上するか？
• RQ4 異なるモデルアーキテクチャにおいて、どの層と入力長で脳との整合性向上がピークに達するか？
• RQ5 登場人物の脳との整合性向上は、登場人物関連のfMRIタイムポイントの数の多さによるものか、それとも真の表象的向上によるものか？

主な発見

• BookSumファインチューニング済みモデルは、全テストモデルおよび参加者において、ベースモデルよりも顕著に高い脳との整合性を示した。特に500語のシーケンス長で、ノイズシーリングの98％に達した。
• 入力シーケンスが長くなるほど脳との整合性が向上し、500語で最適なパフォーマンスに達した。これは、長文脈統合がより深い理解に不可欠であることを示唆している。
• 脳との整合性向上は、登場人物の表象において最も顕著であり、感情や動作と比較して24％の相対的向上を示した。
• LongT5モデルでは、脳との整合性向上が主に中層および後段層（層12〜24）で発生した。これは階層的表象学習を示している。
• 話法的特徴のタイムポイント数の不均衡を補正した後も、登場人物の表象が最大の向上を示した。これは統計的アーティファクトではなく、真の表象的向上であることを確認した。
• 言語モデリング性能と脳との整合性の間に有意な相関は認められなかった。これは、整合性の向上が次トークン予測能力の向上によるものではなく、物語理解によるものであることを示唆している。