[论文解读] Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses

Aina Garí Soler, Marianna Apidianaki|arXiv (Cornell University)|Apr 29, 2021

Natural Language Processing Techniques参考文献 56被引用 13

一句话总结

本文提出了一套严格的实验框架，用于评估 BERT 和多语言 BERT 是否编码了关于词汇多义性和义项可分割性的知识。通过控制频率和词性等变量的精心平衡的数据集，作者证明 BERT 表示能够有效区分单义词与多义词，并估计词义被聚类的难易程度，在英语 BERT 中表现优异，其他语言中也取得了显著成果。

ABSTRACT

Pre-trained language models (LMs) encode rich information about linguistic structure but their knowledge about lexical polysemy remains unclear. We propose a novel experimental setup for analysing this knowledge in LMs specifically trained for different languages (English, French, Spanish and Greek) and in multilingual BERT. We perform our analysis on datasets carefully designed to reflect different sense distributions, and control for parameters that are highly correlated with polysemy such as frequency and grammatical category. We demonstrate that BERT-derived representations reflect words' polysemy level and their partitionability into senses. Polysemy-related information is more clearly present in English BERT embeddings, but models in other languages also manage to establish relevant distinctions between words at different polysemy levels. Our results contribute to a better understanding of the knowledge encoded in contextualised representations and open up new avenues for multilingual lexical semantics research.

研究动机与目标

• 探究上下文相关的语言模型（如 BERT）是否编码了关于词汇多义性和义项结构的知识。
• 在多义性分析中控制词频和词性类别等混淆因素。
• 评估 BERT 表示在估计词语语义空间被划分为独立义项的难易程度方面的能力。
• 比较单语 BERT 模型（英语、法语、西班牙语、希腊语）与多语言 BERT 在捕捉多义性相关信息方面的表现。
• 为跨语言和跨领域的词语义结构分析提供一种可复用的方法论框架。

提出的方法

• 作者设计了义项分布受控的数据集，确保单义词与多义词在频率和词性分布上保持平衡。
• 他们使用来自多个层的 BERT 表示，并对上下文嵌入表示的余弦距离矩阵应用层次聚类。
• 通过轮廓系数（sil）、方差比（vr）和分离度（sep）指标评估聚类能力，并将其与人工标注的义项相似性判断（Uiaa, Umid）进行相关性分析。
• 计算聚类能力估计值与基于人工标注义项相似性得出的金标准度量（Usim）之间的斯皮尔曼等级相关系数（Spearman’s rho）。
• 对 BERT 表示进行逐层评估，以分析多义性知识在模型深度中的分布情况。
• 将 BERT 衍生的表示与人工整理的替代词（Gold-sub）进行比较，以验证自动义项估计的质量。

实验结果

研究问题

• RQ1 BERT 表示能否在不同语言和模型配置下有效区分单义词与多义词？
• RQ2 BERT 表示在多大程度上反映了词义被划分为独立意义的可分割性？
• RQ3 BERT 在估计多义性和义项聚类能力方面与人工标注替代词相比表现如何？
• RQ4 BERT 中与多义性相关知识是在预训练期间形成的，还是在推理过程中由上下文塑造的？
• RQ5 多义性和聚类能力估计的表现如何随 BERT 模型架构的不同层次而变化？

主要发现

• 当在 BERT 衍生表示上使用轮廓系数进行层次聚类时，BERT 表示与金标准标注者间一致性（Uiaa）的皮尔逊相关系数达到 ρ = 0.80，表现出强烈相关性。
• 表现最佳的 BERT 表示（BERT-Agg）与 Uiaa 的相关系数为 ρ = 0.69，显著优于基于人工替代词的方法（ρ = 0.20–0.34）。
• 对于 Umid，BERT-Rep 上轮廓系数的评估结果为 ρ = -0.46，表明存在强烈的负相关性，说明其对义项聚类能力的估计非常有效。
• 多义性检测能力随 BERT 深层网络的加深而提升，Uiaa 在第 10 层达到峰值；而 Umid 预测则呈现非单调模式，在第 3 层和第 8 层达到峰值。
• 英语 BERT 在捕捉多义性和义项可分割性方面表现最强，但法语、西班牙语和希腊语 BERT 模型也表现出有意义的区分能力。
• 结果证实，BERT 中与多义性相关知识主要在预训练阶段获得，并可通过上下文表示稳健访问。