[論文レビュー] Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity?

Subba Reddy Oota, Jashn Arora+4 more|arXiv (Cornell University)|May 3, 2022

Neurobiology of Language and Bilingualism参考文献 50被引用数 24

ひとこと要約

本研究では、読書と聴講中のfMRI脳活動を予測するのに最も適した、ファインチューニングされたトランスフォーマーから得られるタスク固有のNLP表現を調査している。10のNLPタスクからの特徴量を用いたリッジ回帰を実施した結果、コアファレンス解決、NER、シャロウ構文解析が読書関連の脳活動を最もよく予測した一方、類義語検出、要約、自然言語推論（NLI）が聴講タスクにおいて優れた性能を示し、モダリティごとに異なる神経コード化パターンが明らかになった。

ABSTRACT

Several popular Transformer based language models have been found to be successful for text-driven brain encoding. However, existing literature leverages only pretrained text Transformer models and has not explored the efficacy of task-specific learned Transformer representations. In this work, we explore transfer learning from representations learned for ten popular natural language processing tasks (two syntactic and eight semantic) for predicting brain responses from two diverse datasets: Pereira (subjects reading sentences from paragraphs) and Narratives (subjects listening to the spoken stories). Encoding models based on task features are used to predict activity in different regions across the whole brain. Features from coreference resolution, NER, and shallow syntax parsing explain greater variance for the reading activity. On the other hand, for the listening activity, tasks such as paraphrase generation, summarization, and natural language inference show better encoding performance. Experiments across all 10 task representations provide the following cognitive insights: (i) language left hemisphere has higher predictive brain activity versus language right hemisphere, (ii) posterior medial cortex, temporo-parieto-occipital junction, dorsal frontal lobe have higher correlation versus early auditory and auditory association cortex, (iii) syntactic and semantic tasks display a good predictive performance across brain regions for reading and listening stimuli resp.

研究の動機と目的

• ファインチューニングされたトランスフォーマーから得られるタスク固有のNLP表現のうち、言語処理中のfMRI脳活動を最も効果的に予測するものを探ること。
• 読書と聴講の刺激に対して、構文的および意味的NLPタスクの予測性能を比較すること。
• タスク固有の表現とfMRIボクセル活動を結びつけることで、脳ネットワークの組織化に関する認知的知見を明らかにすること。
• タスクに依存しない事前学習の先行研究を拡張し、タスク固有のファインチューニングが神経コード化性能に与える影響を調査すること。

提案手法

• 2つの構文的タスク（シャロウ構文解析、語の意味のあいまいさ解消）と8つの意味的タスク（コアファレンス解決、NER、類義語検出、QA、要約、NLI、感情分析、感情分析）を含む10の多様なNLPタスクでファインチューニングされたトランスフォーマー・モデルを用いた。
• 各ファインチューニング済みモデルの最終層から、入力となるタスク固有の文レベル表現を抽出した。
• リッジ回帰を用いて、2つのデータセット（Pereira：読書文、Narratives-Pieman：物語の聴講）における全脳のfMRIボクセル活動へとタスク固有の表現をマッピングした。
• 予測されたfMRI反応と実際の反応との間の平均絶対誤差（MAE）とピアソン相関を用いて、モデルの性能を評価した。
• 各脳領域における予測誤差（MAE）と相関の脳マップを作成し、タスク固有の予測性能を可視化した。
• 主な言語ネットワーク領域（例：LMTG、PMC、TPOJ）におけるサブROI分析を実施し、特定のNLPタスクに最も反応する脳領域を同定した。

実験結果

リサーチクエスチョン

• RQ1 テキストの読書中にfMRI脳活動を最もよく予測するNLPタスクは何か？
• RQ2 物語の聴講タスクにおいて、最も高い符号化精度を示すNLPタスクは何か？
• RQ3 構文的および意味的タスク表現は、異なる脳領域における活動予測能力でどのように異なるか？
• RQ4 どの脳領域がタスク固有のNLP特徴と最も強く相関を示し、読書と聴講のモダリティでその相関はどのように変化するか？

主な発見

• コアファレンス解決、名前付きエンティティ認識（NER）、シャロウ構文解析が、読書中のfMRI活動を予測する際、最小の平均絶対誤差（MAE）を示し、このモダリティでは優れた予測性能を示した。
• 聴講タスクでは、類義語検出、要約、自然言語推論（NLI）が最小のMAE値を示し、他のタスクに比べて、話されたナラティブに対する脳反応をよりよく予測した。
• 左側半球言語ネットワーク、特に後側側頭回（LPTG）と中側頭回（LMTG）は、読書と聴講の両方において右半球よりも高い予測精度を示した。
• 後方中線皮質（PMC）、頭頂側頭枕接合部（TPOJ）、後頭前頭側索部領域は、初期聴覚皮質および聴覚連合皮質（EAC/AAC）よりも、予測活動と高いピアソン相関を示した。
• サブROI分析の結果、LMTGおよびLPTGは、他の言語ネットワークサブ領域に比べてコアファレンス解決特徴によってより正確に予測された一方、PMCおよびTPOJ領域は類義語検出特徴と強く相関を示した。
• 本研究では、タスク固有のファインチューニングが、汎用的事前学習に比べて脳符号化性能を顕著に向上させることを明らかにした。読書と聴講のモダリティごとに最適なタスクが異なることも示された。