[论文解读] Word Sense Disambiguation using a Bidirectional LSTM

Mikael Kågebäck, Hans Salomonsson|arXiv (Cornell University)|Jun 11, 2016

Natural Language Processing Techniques被引用 41

一句话总结

该论文提出了一种基于双向LSTM的词义消歧（WSD）模型，无需依赖外部资源、手工特征或词性标注，即可实现最先进性能。通过在词语间共享参数并使用预训练的GloVe词嵌入，该模型有效捕捉了上下文中的词序信息，并在词汇上实现良好泛化，Senseval-2上的F1得分为66.9，Senseval-3上为73.4，与使用丰富语言学特征的顶尖系统性能相当。

ABSTRACT

In this paper we present a clean, yet effective, model for word sense disambiguation. Our approach leverage a bidirectional long short-term memory network which is shared between all words. This enables the model to share statistical strength and to scale well with vocabulary size. The model is trained end-to-end, directly from the raw text to sense labels, and makes effective use of word order. We evaluate our approach on two standard datasets, using identical hyperparameter settings, which are in turn tuned on a third set of held out data. We employ no external resources (e.g. knowledge graphs, part-of-speech tagging, etc), language specific features, or hand crafted rules, but still achieve statistically equivalent results to the best state-of-the-art systems, that employ no such limitations.

研究动机与目标

• 开发一种WSD模型，其性能可与最先进系统媲美，且不依赖外部知识库、词性标注或手工特征。
• 探究通过序列建模捕捉词序是否能提升WSD性能，相较于词袋模型方法。
• 通过在词语间共享模型参数，实现全词汇WSD，提升数据效率与可扩展性。
• 在纯端到端学习框架中，评估预训练词嵌入与正则化技术（如dropword）在WSD中的有效性。

提出的方法

• 模型使用共享的双向LSTM（BLSTM）编码目标词周围的上下文，捕捉来自左、右两侧的依赖关系。
• 词表示通过预训练的GloVe词嵌入初始化，并在训练过程中进行微调，以提升词义区分能力。
• 一个共享的隐藏层处理左右BLSTM单元输出的拼接结果，随后通过针对每个词语的softmax层进行词义分类。
• 模型通过在标注词义实例上使用交叉熵损失进行端到端训练，无需显式上下文窗口，从而整合局部与全局上下文信息。
• Dropword正则化在训练过程中将上下文中的随机词语替换为<dropped>标记，以减少对特定词语的过度依赖。
• 在输入词嵌入中添加高斯噪声，进一步正则化模型并提升泛化能力。

实验结果

研究问题

• RQ1 纯粹神经网络的端到端WSD模型能否实现与使用丰富语言学特征和外部资源的最先进系统相当的性能？
• RQ2 词序在WSD中有多重要？序列建模方法（如BLSTM）是否优于词袋方法？
• RQ3 在全词汇WSD中，词语间的参数共享能在多大程度上提升数据效率与可扩展性？
• RQ4 在低资源、无特征设置下，使用预训练词嵌入是否能显著提升WSD性能？
• RQ5 如dropword和输入噪声等正则化技术在无外部监督条件下，对提升泛化能力有多有效？

主要发现

• 所提出的BLSTM模型在Senseval-2词义样本任务上达到66.9的F1得分，与使用丰富语言学特征的最佳系统（100JHU(R)）性能相当。
• 在Senseval-3任务上，模型取得73.4的F1得分，与顶级系统（IMS+adapted CW）持平，后者同样使用了预训练词嵌入但依赖额外特征。
• Dropword正则化在两个数据集上均持续提升性能，表明其在减少对上下文中特定词语的过拟合方面具有显著效果。
• 将输入上下文中的词序随机化后，Senseval-2上的F1得分降至58.8，提供了强有力的实证证据，表明词序对准确的词义消歧至关重要。
• 移除GloVe词嵌入后性能显著下降，Senseval-2上的F1得分降至54.6，表明预训练词嵌入对模型成功至关重要。
• 由于在词语间共享参数，该模型在全词汇WSD中表现出良好的泛化能力，实现了可扩展性，且参数量不会爆炸式增长。