[论文解读] A Comparison of Word Embeddings for English and Cross-Lingual Chinese Word Sense Disambiguation

Hong Jin Kang, Tao Chen+2 more|arXiv (Cornell University)|Nov 9, 2016

Topic Modeling参考文献 25被引用 3

一句话总结

本论文评估了预训练词嵌入（Word2Vec、GloVe 和 Collobert & Weston）在单语英语和英汉跨语言词义消歧（WSD）中的表现，通过引入嵌入特征增强了IMS WSD系统。该方法在无需微调的情况下实现了最先进或具有竞争力的性能，提出了一个公开的英汉跨语言WSD数据集，并发现通过适当缩放的简单嵌入求和方法优于复杂的LSTM模型。

ABSTRACT

Word embeddings are now ubiquitous forms of word representation in natural language processing. There have been applications of word embeddings for monolingual word sense disambiguation (WSD) in English, but few comparisons have been done. This paper attempts to bridge that gap by examining popular embeddings for the task of monolingual English WSD. Our simplified method leads to comparable state-of-the-art performance without expensive retraining. Cross-Lingual WSD - where the word senses of a word in a source language e come from a separate target translation language f - can also assist in language learning; for example, when providing translations of target vocabulary for learners. Thus we have also applied word embeddings to the novel task of cross-lingual WSD for Chinese and provide a public dataset for further benchmarking. We have also experimented with using word embeddings for LSTM networks and found surprisingly that a basic LSTM network does not work well. We discuss the ramifications of this outcome.

研究动机与目标

• 比较不同预训练词嵌入在标准基准（Senseval-2、Senseval-3、SemEval-2007）上用于单语英语WSD的有效性。
• 通过将词嵌入作为特征整合进WSD系统（IMS），在不微调的前提下提升其性能。
• 探究以英语为源语言、中文为目语言的跨语言WSD中词嵌入的可行性与性能表现。
• 构建并发布一个高质量的英汉跨语言WSD数据集，用于教学应用与基准测试。
• 评估基于词嵌入的简单LSTM架构在WSD中的性能，并与传统监督方法进行比较。

提出的方法

• 通过添加预训练词嵌入（Word2Vec、GloVe、Collobert & Weston）作为额外特征，增强了开源的IMS WSD系统。
• 采用一种简单的特征组合方法：通过缩放参数（σ = 0.05、0.1、0.15）对嵌入向量进行求和，以提升特征表示能力。
• 在单语WSD的All Words任务中，使用One-Million Sense-Tagged Instances数据集进行训练。
• 从真实新闻文章中构建了一个新的英汉跨语言WSD数据集，并对目标词的人工标注中文翻译进行了标注。
• 采用细粒度和粗粒度评分两种方式评估性能，粗粒度评估中所有标注均被视为正确。
• 将基于词嵌入的简单LSTM网络与增强后的IMS系统进行比较，使用相同的训练数据集和评估协议。

实验结果

研究问题

• RQ1 在单语英语WSD任务中，不同预训练词嵌入（Word2Vec、GloVe、Collobert & Weston）的性能表现如何比较？
• RQ2 在不微调的前提下，将词嵌入简单地整合进现有WSD系统（IMS）是否能实现与最先进系统相当或更优的性能？
• RQ3 当将英语词汇翻译为中文时，词嵌入在跨语言WSD中的性能提升程度如何？
• RQ4 为何尽管在其他NLP任务中表现优异，基于词嵌入的简单LSTM网络在WSD任务中未能提升性能？
• RQ5 缩放参数（σ）的选择如何影响WSD中嵌入特征求和的性能表现？

主要发现

• 将预训练词嵌入作为特征加入IMS系统后，显著提升了单语WSD任务的性能，在不微调的情况下实现了与最先进系统相当或更优的结果。
• 在多个基准测试中，Word2Vec嵌入表现最佳，其次是GloVe，最后是Collobert & Weston嵌入。
• 通过适当缩放（σ = 0.1）的嵌入向量简单求和，在跨语言WSD中取得了最高准确率（0.772），相比基线模型提升了21.3%。
• 由于跨语言WSD数据集规模较小，词嵌入带来的性能增益在95%置信水平下未达到统计显著性。
• 基于词嵌入的简单LSTM网络表现不佳，表明仅靠词嵌入不足以在当前WSD设置中实现有效的序列建模。
• Bing翻译的短语级翻译行为导致单字词翻译对齐效果差，降低了其作为词级别跨语言WSD基线的可靠性。