[论文解读] Language Models and Word Sense Disambiguation: An Overview and Analysis.

Daniel Loureiro, Kiamehr Rezaee+2 more|arXiv (Cornell University)|Aug 26, 2020

Topic Modeling参考文献 115被引用 6

一句话总结

本文对 BERT 在词义消歧（WSD）中的能力进行了全面分析，评估其在捕捉词语义的上下文敏感语义细微差别方面的表现。研究发现，即使训练数据有限，BERT 也能有效处理高层次的词义区分；且在抗词义偏差和数据效率方面，特征提取优于微调。

ABSTRACT

Transformer-based language models have taken many fields in NLP by storm. BERT and its derivatives dominate most of the existing evaluation benchmarks, including those for Word Sense Disambiguation (WSD), thanks to their ability in capturing context-sensitive semantic nuances. However, there is still little knowledge about their capabilities and potential limitations for encoding and recovering word senses. In this article, we provide an in-depth quantitative and qualitative analysis of the celebrated BERT model with respect to lexical ambiguity. One of the main conclusions of our analysis is that BERT performs a decent job in capturing high-level sense distinctions, even when a limited number of examples is available for each word sense. Our analysis also reveals that in some cases language models come close to solving coarse-grained noun disambiguation under ideal conditions in terms of availability of training data and computing resources. However, this scenario rarely occurs in real-world settings and, hence, many practical challenges remain even in the coarse-grained setting. We also perform an in-depth comparison of the two main language model based WSD strategies, i.e., fine-tuning and feature extraction, finding that the latter approach is more robust with respect to sense bias and it can better exploit limited available training data.

研究动机与目标

• 探究基于 Transformer 的语言模型（如 BERT）在上下文中有效捕捉和恢复词义的程度。
• 在不同数据和资源条件下，评估 BERT 在粗粒度和细粒度词义消歧任务中的表现。
• 比较两种主流 WSD 策略——微调与特征提取——在低资源和词义偏差场景下的有效性。
• 识别尽管在理想条件下表现强劲，但在实际应用中语言模型应用于真实 WSD 任务时仍存在的关键局限与实际挑战。

提出的方法

• 本研究对 BERT 在多个词义消歧任务中对歧义词的上下文表征进行了定量与定性分析。
• 通过控制训练数据量和计算资源，评估其在粗粒度名词消歧任务中的表现。
• 作者比较了两种 WSD 策略：在下游 WSD 任务上微调 BERT，以及将上下文嵌入作为特征提取用于下游分类器。
• 通过分析在数据分布不平衡情况下的模型行为，评估其对词义偏差的敏感性。
• 分析包括对注意力模式和表征聚类的定性检查，以理解 BERT 如何编码词义差异。

实验结果

研究问题

• RQ1 当每个词义的训练样本数量有限时，BERT 在词义消歧中捕捉高层次词义区分的能力如何？
• RQ2 在数据和资源条件理想的情况下，BERT 在粗粒度名词消歧中的表现如何？
• RQ3 在低资源和词义偏差场景下，微调与特征提取在 WSD 中的相对优劣势是什么？
• RQ4 尽管在受控环境下表现优异，但在实际 WSD 应用中仍存在哪些实际局限？

主要发现

• 即使每个词义的可用样本数量有限，BERT 仍能有效捕捉高层次的词义区分。
• 在数据和资源充足的理想条件下，BERT 几乎可以解决粗粒度名词消歧任务。
• 然而，此类理想条件在现实中罕见，即使在粗粒度设置下，仍存在诸多实际挑战。
• 在抗词义偏差和有限训练数据利用方面，特征提取比微调更具鲁棒性。