[论文解读] Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses

Richard Antonello, Javier S. Turek+2 more|arXiv (Cornell University)|Jun 9, 2021

Topic Modeling参考文献 34被引用 24

一句话总结

本文提出一种基于迁移学习的方法，用于映射100项NLP任务中语言表征空间的低维结构，揭示了连接词嵌入、句法、语义与未来词预测的连续层次结构。该表征嵌入能以高精度预测fMRI脑部反应，并捕捉大脑自然语言处理层次结构。

ABSTRACT

How related are the representations learned by neural language models, translation models, and language tagging tasks? We answer this question by adapting an encoder-decoder transfer learning method from computer vision to investigate the structure among 100 different feature spaces extracted from hidden representations of various networks trained on language tasks. This method reveals a low-dimensional structure where language models and translation models smoothly interpolate between word embeddings, syntactic and semantic tasks, and future word embeddings. We call this low-dimensional structure a language representation embedding because it encodes the relationships between representations needed to process language for a variety of NLP tasks. We find that this representation embedding can predict how well each individual feature space maps to human brain responses to natural language stimuli recorded using fMRI. Additionally, we find that the principal dimension of this structure can be used to create a metric which highlights the brain's natural language processing hierarchy. This suggests that the embedding captures some part of the brain's natural language representation structure.

研究动机与目标

• 映射NLP中各类语言表征（如词嵌入、句法、语义及模型特异性隐藏状态）之间的内在关系。
• 探究语言表征空间是否本质上是低维的，正如‘句法’或‘语义’等定性描述所暗示的那样。
• 确定人工表征中的低维结构是否反映了人类大脑对自然语言响应的组织方式。
• 开发一种表征嵌入，以定量方式捕捉语言表征之间的功能关系，而无需依赖预定义标签。
• 探索单向与双向语言模型在其表征层次结构中的进展差异。

提出的方法

• 将计算机视觉中的编码器-解码器迁移学习框架适配至NLP，用于分析100种来自不同NLP任务的语言表征之间的关系。
• 以表征间的可迁移性作为相似性的代理，训练线性编码器-解码器网络，以从一种表征预测另一种表征。
• 应用分析层级过程（AHP）归一化，确保在不同类型表征之间进行一致比较。
• 通过将可迁移性矩阵降维至紧凑嵌入空间，构建低维表征嵌入。
• 利用该嵌入的主维度，通过编码模型预测fMRI脑部反应。
• 通过比较预测的脑部反应图与实际fMRI数据，使用相关性与匹配准确率指标验证方法。

实验结果

研究问题

• RQ1 是否存在一种低维、连续的结构，将NLP任务中的各类语言表征组织起来？
• RQ2 不同语言模型（如单向与双向）的表征在此结构中如何相互关联？
• RQ3 该低维表征嵌入在多大程度上能预测人类大脑对自然语言刺激的反应？
• RQ4 表征嵌入的主维度能否恢复大脑中已知的语言处理层次结构？
• RQ5 该表征嵌入在多大程度上能准确预测特定表征对应于哪些脑区？

主要发现

• 该方法成功揭示了一种低维结构，其中语言模型、翻译模型及其他NLP任务在词嵌入、句法、语义与未来词表征之间形成连续平滑的插值。
• 该表征嵌入在所有表征上对fMRI脑部反应的预测准确率超过90%，且对大多数表征达到100%的准确率。
• 表征嵌入的主维度大致与人类大脑中已知的语言处理层次结构（如腹侧与背侧通路）相吻合。
• 该嵌入捕捉到了人工语言表征与人类神经反应之间共享的结构组织，暗示存在共享的认知架构基础。
• 该方法表明，可迁移性可用于推断表征之间的功能关系，而无需预先标注或假设。
• 结果表明，大脑语言处理层次结构可能反映在人工语言表征的内在几何结构之中。