[論文レビュー] Understanding language-elicited EEG data by predicting it from a fine-tuned language model

Dan Schwartz, Tom M. Mitchell|arXiv (Cornell University)|Apr 2, 2019

Neurobiology of Language and Bilingualism参考文献 30被引用数 4

ひとこと要約

本稿では、事前学習済み言語モデルを微調整して脳活動からのイベント関連電位（ERP）を予測する、言語誘発EEG反応を理解するための新規手法を提案する。本研究では、従来は部分的にしか予測可能でないと考えられていた6つの主要なERP成分が、言語モデル埋め込みから予測可能であることを、初めて示した。特に、構文的（LAN/P600、ELAN/P600）および意味的（N400/EPNP/PNP）成分間の新たな関係が、共同マルチタスク学習によって明らかになった。

ABSTRACT

Electroencephalography (EEG) recordings of brain activity taken while participants read or listen to language are widely used within the cognitive neuroscience and psycholinguistics communities as a tool to study language comprehension. Several time-locked stereotyped EEG responses to word-presentations -- known collectively as event-related potentials (ERPs) -- are thought to be markers for semantic or syntactic processes that take place during comprehension. However, the characterization of each individual ERP in terms of what features of a stream of language trigger the response remains controversial. Improving this characterization would make ERPs a more useful tool for studying language comprehension. We take a step towards better understanding the ERPs by fine-tuning a language model to predict them. This new approach to analysis shows for the first time that all of the ERPs are predictable from embeddings of a stream of language. Prior work has only found two of the ERPs to be predictable. In addition to this analysis, we examine which ERPs benefit from sharing parameters during joint training. We find that two pairs of ERPs previously identified in the literature as being related to each other benefit from joint training, while several other pairs of ERPs that benefit from joint training are suggestive of potential relationships. Extensions of this analysis that further examine what kinds of information in the model embeddings relate to each ERP have the potential to elucidate the processes involved in human language comprehension.

研究の動機と目的

• 言語理解におけるイベント関連電位（ERP）の特徴を、言語入力の特徴と結びつけることで、より洗練された記述を可能にする。
• 言語モデル埋め込みが、聴取または読解によって誘発される神経反応（ERP）を予測可能かどうかを検証する。
• 複数のERP成分を同時に学習する共同学習によって、それらの背後にある認知的関係を明らかにする。
• 双方向言語モデルが、ERP反応の予測において一方向モデルを上回るかどうかを検証する。
• 眼動測定や自己-paced読解といった行動データが、ERPデータと共同で学習可能かどうかを検討し、予測性能の向上を図る。

提案手法

• BERTなどの事前学習済み双方向トランスフォーマー言語モデルを微調整し、単語レベルの言語入力から6つのERP成分を予測する。
• モデルが複数のERP成分を同時に予測するマルチタスク学習フレームワークを用い、タスク間で表現を共有する。
• Frankら（2015）の研究で得られた、単語ごとの言語刺激とそれに対応するERP振幅のデータセットを用いて学習を行う。
• ERP成分の予測性能を比較する際、双方向モデルと一方向モデルのバリアントを対比する。
• 行動データ（眼動測定、自己-paced読解）をマルチタスク学習設定における補助信号として統合し、ERP予測の性能向上を図る。
• 学習された表現を分析し、各ERP成分と相関する言語的特徴をモデルの埋め込み表現から同定する。

実験結果

リサーチクエスチョン

• RQ1 微調整された言語モデルが、過去の研究で2つだけが予測可能とされたことと異なり、言語入力から全6つの主要ERP成分を予測可能かどうか。
• RQ2 どのERP成分が共同学習によって恩恵を受けるか。これにより、それらの背後にある認知的関係に何が示唆されるか。
• RQ3 なぜ双方向言語モデルがERP反応の予測において一方向モデルを上回るのか。
• RQ4 マルチタスク学習設定において行動データ（例：眼動測定、読解時間）を用いることで、ERP予測の性能が向上するか。
• RQ5 モデルの隠れ表現に含まれるどの言語的特徴が、各ERP成分の予測において最も予測力を持つのか。

主な発見

• N400、EPNP、PNP、P600、LAN、ELANの全6つのERP成分が、言語モデル埋め込みから予測可能である。これは、従来は2つだけが予測可能とされていたという先行研究を拡張する。
• 共同学習により、LAN+P600およびELAN+P600といった、従来から認知的に関連すると考えられていたERPペアの予測性能が向上した。
• 双方向モデルが一方向モデルを上回り、ERP反応の予測性能に優れている。これは、将来の文脈を考慮できることが、脳活動のモデリングに役立つことを示唆している。
• 眼動測定や自己-paced読解といった行動データをマルチタスク学習で統合することでERP予測性能が向上した。これは、神経的信号と行動的信号の間で共有される表現が存在することを示している。
• EPNPとPNPが共同学習によって恩恵を受けることが明らかになった。これは、それらの間に潜在的な機能的関連性がある可能性を示唆している。
• 結果から、ERP成分は独立したマーカーではなく、共同表現学習によって明らかになったように、共有される言語的および認知的プロセスによって統合的に形成されていることが示唆された。