[论文解读] Blackbox meets blackbox: Representational Similarity and Stability Analysis of Neural Language Models and Brains

Samira Abnar, Lisa Beinborn+2 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 34被引用 14

一句话总结

本文提出了表征稳定性分析（ReStA），一种新颖的方法，将表征相似性分析（RSA）扩展至评估神经语言模型在不同上下文长度下的表征变化。结果表明，基于LSTM的模型（如GoogleLM、ELMO）在表征稳定性方面优于基于Transformer的模型，且与人类大脑fMRI数据的对齐度更高，表明其内部动态更贴近大脑中观察到的深层语言处理。

ABSTRACT

In this paper, we define and apply representational stability analysis (ReStA), an intuitive way of analyzing neural language models. ReStA is a variant of the popular representational similarity analysis (RSA) in cognitive neuroscience. While RSA can be used to compare representations in models, model components, and human brains, ReStA compares instances of the same model, while systematically varying single model parameter. Using ReStA, we study four recent and successful neural language models, and evaluate how sensitive their internal representations are to the amount of prior context. Using RSA, we perform a systematic study of how similar the representational spaces in the first and second (or higher) layers of these models are to each other and to patterns of activation in the human brain. Our results reveal surprisingly strong differences between language models, and give insights into where the deep linguistic processing, that integrates information over multiple sentences, is happening in these models. The combination of ReStA and RSA on models and brains allows us to start addressing the important question of what kind of linguistic processes we can hope to observe in fMRI brain imaging data. In particular, our results suggest that the data on story reading from Wehbe et al. (2014) contains a signal of shallow linguistic processing, but show no evidence on the more interesting deep linguistic processing.

研究动机与目标

• 研究神经语言模型的内部表征如何随上下文长度变化。
• 比较不同语言模型的表征相似性及其与人类大脑激活模式的对齐程度。
• 评估故事阅读任务中fMRI数据是否包含深层语言处理的信号，而非仅浅层处理。
• 评估模型架构与训练目标在多大程度上塑造表征稳定性与类脑对齐性。

提出的方法

• 提出ReStA，作为RSA的一种变体，通过系统性地改变上下文长度，比较同一模型在不同上下文长度下的表征。
• 使用RSA计算模型激活与大脑fMRI数据中刺激对之间的相似性矩阵。
• 将ReStA应用于四种最先进的语言模型：GoogleLM、ELMO、BERT和Universal Sentence Encoder。
• 通过相似性矩阵的皮尔逊相关系数，测量模型层与脑区之间的表征相似性。
• 采用人类受试者阅读故事的fMRI数据（Wehbe et al., 2014）作为大脑表征的代理。
• 分析模型在不同层和上下文条件下的性能与表征稳定性。

实验结果

研究问题

• RQ1 当先前上下文量变化时，神经语言模型的内部表征如何变化？
• RQ2 哪些语言模型架构和层在上下文变化下表现出最高的表征稳定性？
• RQ3 不同语言模型的表征空间彼此之间以及与故事处理过程中人类大脑激活模式的相似性如何？
• RQ4 故事阅读的fMRI数据在多大程度上反映了深层语言处理，而非浅层处理？

主要发现

• 基于LSTM的模型（GoogleLM、ELMO）在上下文变化下表现出显著高于基于Transformer的模型（BERT、Universal Sentence Encoder）的表征稳定性。
• LSTM模型的第一层（L0）对上下文长度的敏感性极低，而第二层（L1）表现出强烈的上下文依赖性表征变化，表明L1具有时间信息整合能力。
• 基于LSTM的模型与人类大脑fMRI数据的表征相似性高于词级别模型（如GloVe）或基于Transformer的模型。
• 尽管模型表征和性能随上下文长度显著变化，但这些变化并未反映在与大脑表征的对齐程度上，表明表征迁移有限。
• Wehbe et al. (2014) 的大脑数据表现出浅层语言处理的信号，但未检测到跨句子的深层语言整合证据。
• 左前颞叶在所有模型中均表现出与模型表征最高的表征相似性，提示其可能是语义整合的潜在神经相关物。