[论文解读] Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge

Sathvik Nair, Mahesh Srinivasan+1 more|arXiv (Cornell University)|Oct 25, 2020

Language and cultural evolution被引用 15

一句话总结

本研究调查了基于 BERT 的上下文嵌入是否能够捕捉人类对词义差异的感知，特别是多义性与同音异义的区别。通过基于网络的空间排列任务，参与者对 32 个英语单词的词义相关性进行了判断；结果显示，BERT 嵌入能够可靠地编码这些判断，其中同音异义词义（例如，bat 作为动物 vs. bat 作为运动器材）在嵌入空间中的距离显著大于多义词义（例如，chicken 作为动物 vs. meat），表明神经网络表示反映了人类对词义相关性的直觉认知。

ABSTRACT

Understanding context-dependent variation in word meanings is a key aspect of human language comprehension supported by the lexicon. Lexicographic resources (e.g., WordNet) capture only some of this context-dependent variation; for example, they often do not encode how closely senses, or discretized word meanings, are related to one another. Our work investigates whether recent advances in NLP, specifically contextualized word embeddings, capture human-like distinctions between English word senses, such as polysemy and homonymy. We collect data from a behavioral, web-based experiment, in which participants provide judgments of the relatedness of multiple WordNet senses of a word in a two-dimensional spatial arrangement task. We find that participants' judgments of the relatedness between senses are correlated with distances between senses in the BERT embedding space. Homonymous senses (e.g., bat as mammal vs. bat as sports equipment) are reliably more distant from one another in the embedding space than polysemous ones (e.g., chicken as animal vs. chicken as meat). Our findings point towards the potential utility of continuous-space representations of sense meanings.

研究动机与目标

• 评估类似 BERT 的上下文嵌入是否反映人类对词义相关性的直觉认知。
• 探究 BERT 表示能否基于嵌入相似性区分多义词与同音异义词。
• 弥合心理语言学中关于词义表征的理论与词典资源（如 WordNet）之间的鸿沟，后者未编码词义关系。
• 评估连续空间嵌入在为符号本体论补充词义相关性相似度度量方面的潜力。

提出的方法

• 开展基于网络的二维空间排列任务，收集参与者对 32 个英语单词的词义相关性判断。
• 从标注了 WordNet 词义标识符的 Semcor 语料库中提取 BERT 上下文嵌入。
• 计算词义嵌入之间的余弦相似度，以构建 BERT 空间中的词义相关性度量。
• 通过皮尔逊相关性分析，比较人类判断与基于 BERT 的相似度度量。
• 在 BERT 嵌入上训练词义分类器，以评估其在多义词与同音异义词对上的性能。
• 分析分类器的混淆矩阵与错误率，以评估模型在区分词义类型方面的可靠性。

实验结果

研究问题

• RQ1 BERT 嵌入是否反映人类对词义相关性的判断？
• RQ2 BERT 是否能基于嵌入相似性区分多义词与同音异义词对？
• RQ3 基于 BERT 的词义相关性度量与人类直觉的相关性如何？
• RQ4 基于 BERT 嵌入的词义分类模型在同音异义词对上的性能是否优于多义词对？

主要发现

• 人类对词义相关性的判断与 BERT 嵌入空间中的余弦相似度显著相关。
• 同音异义词对在 BERT 嵌入中的相似度显著低于多义词对，反映了人类的直觉认知。
• 基于 BERT 的分类器在同音异义词对上的平均 F1 得分为 0.992，表明其具有极高的区分准确率。
• 对于多义词对，分类器的平均 F1 得分为 0.752，表明其区分能力较低但仍具实际意义。
• 分类器的成对混淆情况作为人类相关性判断的预测因子，略优于原始嵌入距离。
• 错误分析表明，BERT 嵌入在区分同音异义词对方面比多义词对更可靠，提示其在捕捉细微多义关系方面存在局限。