[论文解读] Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings

Gregor Wiedemann, Steffen Remus+2 more|arXiv (Cornell University)|Sep 23, 2019

Natural Language Processing Techniques参考文献 37被引用 121

一句话总结

本文表明，带上下文的词嵌入通过一种简单的 kNN 方法实现有效的词义消歧（WSD），BERT 在词汇样本 WSD 数据集上达到新的最佳性能，并揭示了嵌入空间中的意义聚类。

ABSTRACT

Contextualized word embeddings (CWE) such as provided by ELMo (Peters et al., 2018), Flair NLP (Akbik et al., 2018), or BERT (Devlin et al., 2019) are a major recent innovation in NLP. CWEs provide semantic vector representations of words depending on their respective context. Their advantage over static word embeddings has been shown for a number of tasks, such as text classification, sequence tagging, or machine translation. Since vectors of the same word type can vary depending on the respective context, they implicitly provide a model for word sense disambiguation (WSD). We introduce a simple but effective approach to WSD using a nearest neighbor classification on CWEs. We compare the performance of different CWE models for the task and can report improvements above the current state of the art for two standard WSD benchmark datasets. We further show that the pre-trained BERT model is able to place polysemic words into distinct 'sense' regions of the embedding space, while ELMo and Flair NLP do not seem to possess this ability.

研究动机与目标

• 将词义消歧作为上下文化词嵌入（CWEs）的一个测试平台。
• 评估 CWEs 如何在不同模型（Flair、ELMo、BERT）中编码词义。
• 测试一种简单、可解释的基于 kNN 的 WSD 方法，以评估基于距离的意义区分。
• 研究数据集对 WSD 性能的影响（SE-2、SE-3、S7-T7、S7-T17）。
• 提供定性分析，揭示何时 CWEs 将词义置于嵌入空间中可分离的区域。

提出的方法

• 在 CWE 向量上使用一个简单的最近邻分类器来执行 WSD（基于训练词义的局部 kNN）。
• 用词性还原的向量表示目标词：在针对一个词时，BERT 的 wordpiece CWE 的平均向量，或其他模型的标准 CWE 向量。
• 对于 BERT，将目标标记的最后四层 wordpiece 向量取平均后拼接。
• 在较宽的范围内变化 k，并应用归一化以处理不均衡的词义频率（k' = min(k, 某一词义的示例数)）。
• 在四个标准 WSD 数据集（SE-2、SE-3、S7-T7、S7-T17）和两个训练语料（SemCor、WNGT）上比较三种 CWE 模型（Flair、ELMo、BERT）。
• 提供定性分析，包括对意义簇的 t-SNE 可视化和错误分析。

实验结果

研究问题

• RQ1 基于 BERT 的 CWE 在 SE-2、SE-3 和 S7-T7 任务中取得三者中最佳的 WSD 性能（在 SE-2 和 SE-3 上显著优于此前的 state-of-the-art）。
• RQ2 kNN WSD 显示在 BERT 嵌入中，意义区域比在 ELMo 或 Flair 中更易分离，通过可视化中的聚类和更高的近邻准确率得到证据。
• RQ3 在 all-words 任务（S7-T7、S7-T17）上的 WSD 性能下降，原因是数据稀疏性以及训练数据（SemCor/WNGT）与测试数据之间的领域不匹配。
• RQ4 与 ELMo 和 Flair 相比，BERT 在嵌入空间中将多义词的意义置于可分离区域的程度有多大？
• RQ5 将词性标注的意义作为限制是否会提升 all-words 任务的 WSD 准确性？

主要发现

• 基于 BERT 的 CWEs 在 SE-2、SE-3、S7-T7 任务上达到三种模型中最佳的 WSD 性能（在 SE-2 和 SE-3 上显著优于此前的 state-of-the-art）。
• kNN WSD 显示，在 BERT 嵌入中的意义区域比在 ELMo 或 Flair 中更易分离，这通过聚类可视化和更高的近邻准确率得到证据。
• 在 all-words 任务（S7-T7、S7-T17）上的 WSD 性能下降，原因是数据稀疏性和训练数据（SemCor/WNGT）与测试数据之间的领域不匹配。
• 一个 POS 限制（lemma+POS）的变体在 S7-T7 和 S7-T17 上提高了 F1 分数，表明在不平衡数据集中通过限制形态句法类别可以提升意义消歧能力。
• 增加 k 倾向于使结果稳定，并在结合 BERT 嵌入时可在词汇样本任务上达到 state-of-the-art。
• 定性错误分析表明，接近命中的错误通常由于细粒度动词意义和跨词性混淆所致，但 POS 限制有助于减少此类错误。