[論文レビュー] Inducing brain-relevant bias in natural language processing models

Dan Schwartz, Mariya Toneva+1 more|arXiv (Cornell University)|Oct 29, 2019

Neurobiology of Language and Bilingualism参考文献 27被引用数 22

ひとこと要約

本論文では、fMRI および MEG の脳活動記録を用いて BERT をファインチューニングし、脳関連の言語処理をよりよく捉える表現を生成することを提案する。ファインチューニング後、モデルは参加者間で fMRI 活動の予測性能が向上し、fMRI 僅どのモデルを上回る。これは、脳誘導型表現学習が神経予測を向上させるが、NLP のパフォーマンスを損なわないことを示している。

ABSTRACT

Progress in natural language processing (NLP) models that estimate representations of word sequences has recently been leveraged to improve the understanding of language processing in the brain. However, these models have not been specifically designed to capture the way the brain represents language meaning. We hypothesize that fine-tuning these models to predict recordings of brain activity of people reading text will lead to representations that encode more brain-activity-relevant language information. We demonstrate that a version of BERT, a recently introduced and powerful language model, can improve the prediction of brain activity after fine-tuning. We show that the relationship between language and brain activity learned by BERT during this fine-tuning transfers across multiple participants. We also show that, for some participants, the fine-tuned representations learned from both magnetoencephalography (MEG) and functional magnetic resonance imaging (fMRI) are better for predicting fMRI than the representations learned from fMRI alone, indicating that the learned representations capture brain-activity-relevant information that is not simply an artifact of the modality. While changes to language representations help the model predict brain activity, they also do not harm the model's ability to perform downstream NLP tasks. Our findings are notable for research on language understanding in the brain.

研究の動機と目的

• fMRI や MEG のような脳活動記録を用いて、事前学習済み言語モデル（例：BERT）をファインチューニングすることで、言語への神経応答をよりよく予測できる表現が得られるかどうかを調査すること。
• 複数の参加者および複数の神経画像モダリティ（fMRI および MEG）から学習した表現が、個人や記録タイプを超えて一般化するかどうかを検証すること。
• fMRI データのみを用いた場合に比べ、脳誘導型ファインチューニングが fMRI 活動の予測性能を向上させるかどうかを評価すること。

提案手法

• テキスト入力に対応する fMRI および MEG 記録を予測するための線形ヘッドを用いて、BERT をファインチューニングする。MEG の予測は内容語に基づき、fMRI は [CLS] トークン埋め込みに基づく。
• マルチタスク学習を用い、fMRI および MEG 両方の予測を同時に最適化することで、両モダリティの相補的な強みを活用する。
• 複数の参加者からのデータを用いて訓練することで、参加者間で一般化可能な脳関連表現を学習することを促進する。
• fMRI ボクセルにおける分散の説明割合（PoV）を用いてモデル性能を評価し、ファインチューニング済みモデルとヴァナイル BERT を比較する。
• 表現変化を引き起こす主な言語的特徴を特定するため、最も変化が大きい例における特徴分布のシフトを分析する。
• ブートストラップリサンプリングを用いて、高変化例と低変化例における特徴頻度の比較における標準誤差を推定する。

実験結果

リサーチクエスチョン

• RQ1 fMRI や MEG のような脳活動記録を用いて BERT をファインチューニングすることで、自然言語刺激に対する fMRI 応答の予測能力が向上するか？
• RQ2 脳誘導型表現学習は、異なる参加者や神経画像モダリティ（fMRI および MEG）間で一般化可能か？
• RQ3 MEG データでファインチューニングされた表現は、fMRI 僅どのモデルを上回る fMRI 予測性能を達成できるか？
• RQ4 脳誘導型ファインチューニング中に BERT の表現が変化する際、運動や感情ラベルのような特定の言語的特徴と関連しているか？
• RQ5 脳誘導型ファインチューニングによるパフォーマンス向上は、特定の脳領域に限定されているのか、それとも言語関連領域に広がっているのか？

主な発見

• ファインチューニング済み BERT モデルは、参加者間で fMRI 活動の予測性能が顕著に向上し、MEG からの転送モデルはほとんどの参加者において言語領域で fMRI 僅どのモデルを上回る。
• ファインチューニング済み表現は参加者間で一般化可能であり、モデルが共有される脳関連の言語的パターンを学習していることを示している。
• 一部の参加者では、MEG および fMRI データの両方でファインチューニングされた表現が、fMRI 僅どのモデルを上回る fMRI 予測精度を示しており、MEG が重複しない脳関連の情報を捉えている可能性を示唆している。
• ファインチューニング中に最も変化した例では、運動関連ラベル（例：'move'）や命令文の言語がより頻出しており、これらの言語的特徴が表現の適応に中心的役割を果たしていることが示唆される。
• 脳誘導型ファインチューニング後も、下流の NLP タスクで強力なパフォーマンスを維持しており、脳関連のバイアスがコアな言語理解能力を損なわないことを確認している。
• 特徴分布の分析から、動詞および限定語がファインチューニングの影響を最も受ける言語的カテゴリに属しており、神経言語処理におけるそれらの重要性が示唆される。