[论文解读] Joint Word Representation Learning using a Corpus and a Semantic Lexicon

Danushka Bollegala, Mohammed Alsuhaibani+2 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 31被引用 40

一句话总结

本文提出了一种联合词向量表示学习方法，通过将大规模语料库与语义词典（WordNet）相结合，利用同义关系、上位关系等语义关系对共现模式进行正则化，从而改进向量表示。该方法联合优化基于语料库的共现预测与语义约束，显著优于先前方法在语义相似度和词语类比基准上的表现，尤其在小规模语料库上表现更优。

ABSTRACT

Methods for learning word representations using large text corpora have received much attention lately due to their impressive performance in numerous natural language processing (NLP) tasks such as, semantic similarity measurement, and word analogy detection. Despite their success, these data-driven word representation learning methods do not consider the rich semantic relational structure between words in a co-occurring context. On the other hand, already much manual effort has gone into the construction of semantic lexicons such as the WordNet that represent the meanings of words by defining the various relationships that exist among the words in a language. We consider the question, can we improve the word representations learnt using a corpora by integrating the knowledge from semantic lexicons?. For this purpose, we propose a joint word representation learning method that simultaneously predicts the co-occurrences of two words in a sentence subject to the relational constrains given by the semantic lexicon. We use relations that exist between words in the lexicon to regularize the word representations learnt from the corpus. Our proposed method statistically significantly outperforms previously proposed methods for incorporating semantic lexicons into word representations on several benchmark datasets for semantic similarity and word analogy.

研究动机与目标

• 解决仅基于语料库的词表示学习方法的局限性，例如忽略深层语义关系，以及在处理罕见词或歧义词时表现不佳的问题。
• 克服仅依赖词典方法的缺陷，后者缺乏足够的共现数据以实现可靠的向量估计。
• 开发一种联合学习框架，同时利用大规模语料库中的统计模式与词典（如 WordNet）中的结构化语义关系。
• 提升下游自然语言处理任务（如语义相似度与词语类比检测）的性能。
• 评估语义正则化对词向量表示的影响，特别是在小语料库等低资源设置下的表现。

提出的方法

• 该方法采用正则化的全局共现预测目标，扩展了 Pennington 等人（2014）的方法，联合从语料库和语义词典中学习词向量。
• 利用 WordNet 中的语义关系（如同义关系、上位关系）构建正则化项，促使具有相同语义关系的词语具有相似的向量表示。
• 词向量初始随机初始化，并通过随机优化方法更新，以最小化语料库中观测到的共现预测误差，同时满足语义约束。
• 该方法与 retrofitting 方法不同，其在初始训练阶段即整合语义知识，而非在预训练向量的后处理阶段进行微调。
• 评估了多种语义关系类型（如同义关系、整体-部分关系），其中同义关系带来的性能提升最为显著。
• 框架使用 300 维向量进行评估，并在不同语料规模和向量维度下进行测试。

实验结果

研究问题

• RQ1 将语义词典关系整合到词表示学习中，能否提升在语义相似度与词语类比任务上的性能？
• RQ2 该联合学习方法在不同基准上与仅基于语料库和基于 retrofitting 的方法相比，性能如何？
• RQ3 在语料库规模较小时，使用语义词典的收益是否会减弱或增强？
• RQ4 该方法在不同向量维度下的性能是否稳定？
• RQ5 WordNet 中哪些语义关系类型对改进词向量表示贡献最大？

主要发现

• 所提方法在语义相似度与词语类比任务上，统计上显著优于所有先前结合语料库与语义词典的方法。
• 在 RG、MC 与 MEN 数据集上，该方法的斯皮尔曼等级相关系数高于仅基于语料库的基线方法及所有其他对比方法。
• 当语料库规模较小时，使用语义词典带来的性能增益更为显著，表明在低资源设置下优势更强。
• 该方法在广泛范围的向量维度下保持稳定性能，最优性能出现在 300 维，且在此之后无性能下降。
• 即使在仅使用 100 维时，该方法仍优于仅基于语料库的基线方法，显示出其数据效率。
• 当使用 WordNet 中的同义关系时，该方法取得最佳结果，且在所有基准上均持续带来最高性能提升。