[論文レビュー] Modeling Task Effects on Meaning Representation in the Brain via Zero-Shot MEG Prediction

Mariya Toneva, Otilia Stretcu+3 more|arXiv (Cornell University)|Sep 17, 2020

Neurobiology of Language and Bilingualism参考文献 37被引用数 10

ひとこと要約

本研究では、磁気脳波計測（MEG）を用いて、タスクの意味が脳内の意味表象に与える影響をモデル化するゼロショット計算フレームワークを提案する。刺激とタスクの意味を組み合わせてミリ秒分解解のMEG反応を予測することで、著者らは、遅い意味処理（475–550 ms）の段階でタスク効果が予測精度を顕著に向上させることを示した。これは、語の処理の最終段階にのみタスク依存性があることを示しており、その効果は前頭前野および側頭側頭連合野に局在している。

ABSTRACT

How meaning is represented in the brain is still one of the big open questions in neuroscience. Does a word (e.g., bird) always have the same representation, or does the task under which the word is processed alter its representation (answering "can you eat it?" versus "can it fly?")? The brain activity of subjects who read the same word while performing different semantic tasks has been shown to differ across tasks. However, it is still not understood how the task itself contributes to this difference. In the current work, we study Magnetoencephalography (MEG) brain recordings of participants tasked with answering questions about concrete nouns. We investigate the effect of the task (i.e. the question being asked) on the processing of the concrete noun by predicting the millisecond-resolution MEG recordings as a function of both the semantics of the noun and the task. Using this approach, we test several hypotheses about the task-stimulus interactions by comparing the zero-shot predictions made by these hypotheses for novel tasks and nouns not seen during training. We find that incorporating the task semantics significantly improves the prediction of MEG recordings, across participants. The improvement occurs 475-550ms after the participants first see the word, which corresponds to what is considered to be the ending time of semantic processing for a word. These results suggest that only the end of semantic processing of a word is task-dependent, and pose a challenge for future research to formulate new hypotheses for earlier task effects as a function of the task and stimuli.

研究の動機と目的

• タスク要件が脳内の語の意味の神経表象にどのように影響を与えるかを調査すること。
• 刺激とタスクの意味に基づいてMEG反応を予測する計算フレームワークを構築し、未観測の刺激とタスクに一般化すること。
• 神経処理におけるタスク・ステムル相互作用に関する複数の仮説を検証・比較すること。
• タスク効果が意味処理のどの段階で脳内で出現するかを特定すること。
• 神経科学者による、タスク依存的意味表象に関する機械的仮説の検証と比較のためのメソドロジカル基盤を提供すること。

提案手法

• 著者らは、刺激（具体的名詞）とタスク（質問）の共同表象を、単一試行のMEG記録にマッピングする予測モデルを訓練した。
• タスクと刺激の意味は、人間がアノテートした判断および事前学習済み言語モデルから導かれた分散表現によって符号化された。
• モデルは、トレーニング中に見られなかった新しい刺激・タスクペアに対して予測を行うゼロショット設定で評価された。
• 交差検証評価が用いられ、モデルの性能と統計的有意性が評価され、複数比較補正が適用された。
• このフレームワークにより、脳記録に対する予測力の観点から、タスク・ステムル相互作用に関する複数の仮説を直接比較可能となった。
• 刺激発現後の連続する50ms時間窓ごとに予測精度の向上を分析することで、タスク効果の時間的ダイナミクスが解析された。

実験結果

リサーチクエスチョン

• RQ1 タスクの意味が、脳内での語の意味表象に影響を与えるか？
• RQ2 意味処理のどの時点において、タスク効果が意味表象に顕著に現れるか？
• RQ3 どの神経領域で意味処理中にタスク依存的な調節が観察されるか？
• RQ4 タスク・ステムル相互作用に関する異なる計算仮説は、脳活動の予測においてどのように比較されるか？
• RQ5 ゼロショットモデルは、新しい刺激・タスクペアのMEG反応を正確に予測できるか？

主な発見

• 予測モデルにタスクの意味を組み込むことで、語の発現後475–550 msの期間に、MEG記録の予測精度が顕著に向上した。
• タスク効果は475–550 msの時間窓でピークに達し、これは意味処理の終盤に一致しており、遅い意味処理段階でのみタスク依存性があることを示唆している。
• 600–650 msの時間窓に、二次的な効果が観察され、これは側頭側頭連合野に局在しており、反応準備のためのタスク関連意味情報の維持に関連している可能性がある。
• 前頭前野の早期タスク効果との整合性は、注意の調節がタスク効果の原因である可能性を支持する仮説を裏付けている。
• 検証された仮説の中で、H4.1（タスク固有の相互作用モデル）が最も高い性能を示したが、タスクを含むすべてのモデルが、タスクの意味を含まないベースラインモデルを上回った。
• 結果から、今後の意味表象モデルは、タスク不変の初期処理とタスク依存の遅い処理を区別すべきであると示唆された。