[论文解读] Frequency-based Distortions in Contextualized Word Embeddings

Kaitlyn Zhou, Kawin Ethayarajh+1 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 18被引用 8

一句话总结

本文研究了预训练数据中词汇频率如何扭曲 BERT 上下文词嵌入的语义相似度测量。通过身份探测器和最小包围超球体分析，发现高频词具有更多样化、更难识别的表示，导致相似度被系统性地高估或低估——尤其对南美洲和非洲国家在嵌入空间中造成不利影响，且这种扭曲在多语言 BERT 中依然存在。

ABSTRACT

How does word frequency in pre-training data affect the behavior of similarity metrics in contextualized BERT embeddings? Are there systematic ways in which some word relationships are exaggerated or understated? In this work, we explore the geometric characteristics of contextualized word embeddings with two novel tools: (1) an identity probe that predicts the identity of a word using its embedding; (2) the minimal bounding sphere for a word's contextualized representations. Our results reveal that words of high and low frequency differ significantly with respect to their representational geometry. Such differences introduce distortions: when compared to human judgments, point estimates of embedding similarity (e.g., cosine similarity) can over- or under-estimate the semantic similarity of two words, depending on the frequency of those words in the training data. This has downstream societal implications: BERT-Base has more trouble differentiating between South American and African countries than North American and European ones. We find that these distortions persist when using BERT-Multilingual, suggesting that they cannot be easily fixed with additional data, which in turn introduces new distortions.

研究动机与目标

• 研究预训练数据中的词汇频率如何影响上下文词嵌入的几何结构。
• 检验这些几何差异是否导致语义相似度估计的系统性扭曲。
• 评估额外训练数据（如 BERT-Multilingual）是否能缓解这些扭曲。
• 揭示频率相关扭曲在 NLP 模型中的社会影响，特别是对代表性不足地区的影响。
• 倡导在模型文档中提高透明度，包括词汇频率和扭曲特征的披露。

提出的方法

• 引入一种身份探测器——少样本逻辑回归分类器，用于基于其上下文嵌入衡量词汇的可识别性。
• 通过围绕一个词的同义词嵌入定义最小包围超球体，以量化表示的多样性。
• 使用 BERT-base 和 BERT-Multilingual 从维基百科句子中提取上下文嵌入，筛选长度和分词一致性。
• 将词汇频率（来自 Wikimedia 和 BookCorpus）与嵌入几何结构及相似度估计误差进行相关性分析。
• 使用斯坦福上下文词相似度数据集评估扭曲程度，将余弦相似度与人类判断进行比较。
• 开展消融研究，测试上下文一致性与频率对嵌入丰富度的影响。

实验结果

研究问题

• RQ1 预训练数据中的词汇频率如何影响上下文词嵌入的几何特性？
• RQ2 与人类判断相比，基于频率的几何差异在多大程度上扭曲了语义相似度估计？
• RQ3 多语言预训练数据（如 BERT-Multilingual）是否能减少或消除这些基于频率的扭曲？
• RQ4 不同大洲国家名称在嵌入空间中的表示是否存在可测量的差异？
• RQ5 观察到的扭曲是否可归因于词汇频率导致的上下文信息编码差异？

主要发现

• 在 BERT 中，高频词具有更大的最小包围超球体，表明其表示多样性更高，而低频词则更易识别且更聚集。
• 身份探测器显示，随着频率增加，词汇可识别性下降，表明高频词更难相互区分。
• 词嵌入之间的余弦相似度与人类判断的相关性仅达到皮尔逊相关系数 r = 0.42，且估计误差系统性地与词汇频率相关。
• 北美和欧洲国家名称的包围球体更大，且被认为比南美洲和非洲国家名称更具区分性，这与国内生产总值和区域代表性相关。
• BERT-Multilingual 并未缓解这些扭曲；相同的基于频率的偏见依然存在，表明仅增加数据无法解决该问题。
• 本研究结论认为，所有数据集均因频率和表示偏差而存在扭曲，并呼吁在模型文档中提高透明度，以揭示此类偏差。