[论文解读] Learning Rare Word Representations using Semantic Bridging

Victor Prokhorov, Mohammad Taher Pilehvar+3 more|arXiv (Cornell University)|Jul 24, 2017

Topic Modeling参考文献 18被引用 4

一句话总结

本文提出一种方法，通过将大规模语料库中的分布语义空间与 WordNet 等本体论中的词汇知识相结合，提升罕见词和未见词的词嵌入覆盖度。利用图嵌入（DeepWalk/node2vec）和跨语言向量空间映射（最小二乘法、CCA），将知识库中的罕见词表示映射到基于语料库的向量空间中，实现了超过 99% 的词汇覆盖率，并在 Rare Word Similarity 数据集上将相似度性能提升了 10% 的绝对值。

ABSTRACT

We propose a methodology that adapts graph embedding techniques (DeepWalk (Perozzi et al., 2014) and node2vec (Grover and Leskovec, 2016)) as well as cross-lingual vector space mapping approaches (Least Squares and Canonical Correlation Analysis) in order to merge the corpus and ontological sources of lexical knowledge. We also perform comparative analysis of the used algorithms in order to identify the best combination for the proposed system. We then apply this to the task of enhancing the coverage of an existing word embedding's vocabulary with rare and unseen words. We show that our technique can provide considerable extra coverage (over 99%), leading to consistent performance gain (around 10% absolute gain is achieved with w2v-gn-500K cf.§3.3) on the Rare Word Similarity dataset.

研究动机与目标

• 解决由于训练频率低而导致词嵌入在表示罕见词和未见词方面存在局限性的问题。
• 将来自本体论（如 WordNet）的结构化词汇知识与从大规模语料库中提取的分布语义空间相结合。
• 开发一种迁移学习框架，将知识库嵌入映射到语料库嵌入空间中，以实现词汇扩展。
• 在罕见词相似度的标准基准上评估该方法的有效性。
• 证明即使使用质量较低的嵌入或映射技术，该方法也能提升性能。

提出的方法

• 使用 DeepWalk 和 node2vec 将知识库（WordNet 3.0）嵌入到低维向量空间中，将同义词集（synsets）视为节点，语义关系视为边。
• 应用跨语言向量空间映射技术——最小二乘法和典型相关分析（CCA）——将知识库嵌入空间与基于语料库的语义空间（如 GloVe 或 w2v-gn）对齐。
• 利用 MaxSim 假设将词语映射到 WordNet 中最具代表性的同义词集，实现词级别的对齐。
• 通过学习到的线性映射，将知识库空间中的罕见词和未见词向量转换到语料库嵌入空间中。
• 将所得的增强嵌入应用于下游任务（如词相似度），以评估性能提升。
• 比较多种嵌入模型（GloVe、w2v-gn）与映射技术（LS、CCA）的组合，以识别最优配置。

实验结果

研究问题

• RQ1 能否有效将知识库嵌入与基于语料库的词嵌入对齐，以提升罕见词和未见词的覆盖度？
• RQ2 图嵌入技术（DeepWalk、node2vec）与向量空间映射技术（LS、CCA）的哪种组合在罕见词表示上表现最佳？
• RQ3 从 WordNet 进行词汇丰富化在 Rare Word Similarity 数据集上的性能提升程度如何？
• RQ4 在不同预训练嵌入模型上使用该方法时，性能提升是否具有统计显著性？
• RQ5 该方法是否可逆地应用于利用分布语料信息增强知识库？

主要发现

• 通过利用 WordNet 中的罕见词丰富词嵌入，该方法在 Rare Word Similarity 数据集上实现了超过 99% 的词汇覆盖率。
• w2v-gn-500K 模型在嵌入增强后，斯皮尔曼等级相关系数提升了 10% 的绝对值（从 0.42 提升至 0.44），表现出最大的性能增益。
• 所有测试的嵌入模型（w2v-gn、w2v-gn-500K、GloVe）在嵌入增强后，皮尔逊相关系数和斯皮尔曼等级相关系数均表现出一致的性能提升。
• 根据单尾 t 检验，性能增益在统计上显著（p < 0.05），证实了该方法在不同配置下的稳健性。
• 该方法能有效为缺乏子词结构的单语素罕见词生成嵌入，克服了形态组成模型的局限性。
• 即使使用质量较低的知识库嵌入或映射技术，该方法仍表现出有效性，表明其具备良好的泛化能力和鲁棒性。