[论文解读] A Comparative Study of Lexical Substitution Approaches based on Neural Language Models

Nikolay Arefyev, Boris Sheludko+2 more|arXiv (Cornell University)|May 29, 2020

Natural Language Processing Techniques被引用 5

一句话总结

本文对最先进的神经网络语言模型与掩码语言模型——BERT、ELMo、XLNet 和 context2vec——在词汇替换任务上进行了大规模对比分析。结果表明，将目标词信息注入模型可显著提升性能，并揭示了不同模型生成的语义关系（如同义词、共超类词）存在差异，为词汇消歧和数据增强等自然语言处理应用提供了实用指导。

ABSTRACT

Lexical substitution in context is an extremely powerful technology that can be used as a backbone of various NLP applications, such as word sense induction, lexical relation extraction, data augmentation, etc. In this paper, we present a large-scale comparative study of popular neural language and masked language models (LMs and MLMs), such as context2vec, ELMo, BERT, XLNet, applied to the task of lexical substitution. We show that already competitive results achieved by SOTA LMs/MLMs can be further improved if information about the target word is injected properly, and compare several target injection methods. In addition, we provide analysis of the types of semantic relations between the target and substitutes generated by different models providing insights into what kind of words are really generated or given by annotators as substitutes.

研究动机与目标

• 评估并比较现代神经网络语言模型（BERT、ELMo、XLNet、context2vec）在词汇替换任务上的性能，使用内在基准测试。
• 研究不同神经网络语言模型如何在目标词与替换词之间生成语义关系（如同义词、共超类词），包括模型输出与人工标注者的结果。
• 分析将目标词信息注入模型输入对替换质量及语义关系分布的影响。
• 评估词汇替换模型在外部任务（如词汇消歧和文本数据增强）中的实用性。
• 为下游自然语言处理应用中根据期望的语义关系选择合适模型提供实用指导。

提出的方法

• 使用掩码语言建模和上下文嵌入方法对 BERT、ELMo、XLNet 和 context2vec 模型进行微调，以实现词汇替换。
• 应用目标词注入技术，包括将目标词替换为候选替换词，并利用上下文表示之间的相似性度量。
• 使用原始句子与替换后句子的上下文嵌入之间的余弦相似度对候选替换词进行排序。
• 将模型输出与预训练词嵌入（如 word2vec）结合，以提升语义相关性并减少未登录词（OOC）错误。
• 开发了图形用户界面，用于交互式模型选择与输入处理，以增强可解释性。
• 将生成的替换词映射到 WordNet 同义词集，以分类语义关系（如同义词、上下位词、共超类词等），并分析其分布模式。

实验结果

研究问题

• RQ1 BERT、ELMo、XLNet 和 context2vec 在内在词汇替换基准测试中的表现如何比较？
• RQ2 不同神经网络语言模型在目标词与替换词之间生成的语义关系类型（如同义词、共超类词、上下位词）有哪些？
• RQ3 将目标词信息注入模型输入对词汇替换输出的质量与语义连贯性有何影响？
• RQ4 词汇替换模型在多大程度上能提升外部任务（如词汇消歧和数据增强）的性能？
• RQ5 人工标注的替换词与模型生成的替换词在语义关系类型与准确性方面有何差异？

主要发现

• XLNet 在词汇替换基准测试中表现优于 BERT 及其他模型，尤其在结合词嵌入时效果更显著。
• 注入目标词信息可显著提升替换质量，减少未登录词（OOC）错误并增强语义连贯性。
• BERT 和 XLNet 生成的同义词与共超类词比例与人工标注的黄金标准相当，尤其在结合词嵌入后表现更佳。
• 未使用目标词注入的模型（如 context2vec、ELMo）生成了显著更多的 OOC 替换词，且语义关系更不具意义。
• 将模型输出与词嵌入结合后，直接同义词与共超类词的比例提高，而传递性关系与 OOC 数量减少。
• 人工标注者对替换词的词性标注存在误差（形容词错误率 15%，副词错误率 25%），影响了语义关系分类，凸显了语义一致性挑战。