[论文解读] Does injecting linguistic structure into language models lead to better alignment with brain recordings?

Mostafa Abdou, Ana Valeria González+3 more|arXiv (Cornell University)|Jan 29, 2021

Topic Modeling参考文献 50被引用 19

一句话总结

本文通过注意力引导的方式，将句法（UD、DM）和语义（UCCA）形式化体系注入BERT，以改善其与fMRI脑记录的对齐效果。研究发现，结构化偏置模型在Wehbe2014数据集上显著提升了脑解码性能，尤其在内容词和句法任务上表现突出；而在Pereira2018数据集上结果则不一致，表明当任务与数据条件有利时，结构化偏置可提升神经表征对齐效果。

ABSTRACT

Neuroscientists evaluate deep neural networks for natural language processing as possible candidate models for how language is processed in the brain. These models are often trained without explicit linguistic supervision, but have been shown to learn some linguistic structure in the absence of such supervision (Manning et al., 2020), potentially questioning the relevance of symbolic linguistic theories in modeling such cognitive processes (Warstadt and Bowman, 2020). We evaluate across two fMRI datasets whether language models align better with brain recordings, if their attention is biased by annotations from syntactic or semantic formalisms. Using structure from dependency or minimal recursion semantic annotations, we find alignments improve significantly for one of the datasets. For another dataset, we see more mixed results. We present an extensive analysis of these results. Our proposed approach enables the evaluation of more targeted hypotheses about the composition of meaning in the brain, expanding the range of possible scientific inferences a neuroscientist could make, and opens up new opportunities for cross-pollination between computational neuroscience and linguistics.

研究动机与目标

• 探究在预训练语言模型中注入符号化语言结构是否能提升其在语言理解过程中与人类脑活动的对齐效果。
• 评估基于句法与语义形式化体系（UD、DM、UCCA）引导的注意力机制是否能产生更具脑似表征。
• 评估此类结构化偏置是否能提升在脑解码与目标语言探针任务上的性能。
• 识别影响模型-脑对齐的语言与数据相关混杂因素，尤其是语料领域与规模。
• 通过结构化NLP模型，为大脑中意义构成的神经科学假设提供更精准的靶向支持。

提出的方法

• 使用一种新颖的注意力引导损失函数微调BERT，使自注意力机制遵循来自UD（依存句法分析）、DM（最小递归语义）和UCCA（语义依存形式化）的句法或语义标注。
• 在每种形式化体系标注的领域特定文本语料上训练模型，并在微调过程中利用标注信息引导注意力头。
• 从基线模型与引导模型中提取句子级与词级表征，用于与两个数据集（Wehbe2014和Pereira2018）的fMRI记录进行比较。
• 通过学习模型表征到fMRI激活模式的线性映射实现脑解码，以相关系数或F1分数评估性能。
• 开展探针任务，评估模型在句法（如主谓一致）与语义（如语义标注）任务上的能力。
• 分析内容词与功能词之间的性能差异，并评估语料规模、领域与依存长度等混杂因素的影响。

实验结果

研究问题

• RQ1 在语言模型中注入语言结构是否能提升其表征与人类fMRI脑记录的对齐效果？
• RQ2 在使用UD、DM、UCCA形式化体系引导BERT注意力时，哪种形式化体系能带来最强的脑对齐效果？
• RQ3 结构化偏置如何影响句法与语义探针任务的性能，这种影响是否与脑对齐相关？
• RQ4 语料领域与规模在多大程度上成为影响模型-脑对齐的混杂因素？
• RQ5 在句子级聚合过程中结构信息的丢失是否可解释Pereira2018数据集上性能较弱的原因？

主要发现

• 基于UD与DM形式化体系引导注意力微调的模型在Wehbe2014数据集上显著提升了脑解码性能，尤其在词级表征上表现突出。
• 该提升在内容词上最为明显，因为领域微调基线模型（UD与DM）的性能下降主要源于内容词解码准确率的降低。
• 在Pereira2018数据集上，性能提升在句子级较有限；但当使用平均池化表征时，引导模型的优势消失，表明聚合可能掩盖了结构化优势。
• 在两个数据集中，DM与UD引导的模型在脑对齐方面始终优于UCCA引导的模型，尽管这可能受到语料领域与规模的混杂影响。
• 在脑活动对齐效果最佳的模型中，句法探针任务（如主谓一致）的解码分数始终更高，表明其具有共享的结构敏感性。
• 研究揭示，语料领域与规模是关键混杂因素：引导模型的解码性能排名与训练语料规模呈正相关（DM > UD > UCCA），表明数据特性显著影响结构化偏置的有效性。