[论文解读] Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs

Dimitri Kartsaklis, Mohammad Taher Pilehvar+1 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling参考文献 38被引用 5

一句话总结

本文提出了一种多义LSTM（MS-LSTM）模型，通过将短语和句子投影到基于知识图谱嵌入并增强文本特征的连续向量空间中，实现从自然语言文本到知识图谱实体的映射。该模型在词嵌入上采用动态义项消歧，并将文本节点整合到随机游走中以改善语义对齐，在文本到实体映射、反向词典和文档分类任务上实现了最先进性能。

ABSTRACT

This paper addresses the problem of mapping natural language text to knowledge base entities. The mapping process is approached as a composition of a phrase or a sentence into a point in a multi-dimensional entity space obtained from a knowledge graph. The compositional model is an LSTM equipped with a dynamic disambiguation mechanism on the input word embeddings (a Multi-Sense LSTM), addressing polysemy issues. Further, the knowledge base space is prepared by collecting random walks from a graph enhanced with textual features, which act as a set of semantic bridges between text and knowledge base entities. The ideas of this work are demonstrated on large-scale text-to-entity mapping and entity classification tasks, with state of the art results.

研究动机与目标

• 为解决在存在词汇歧义和多义性的情况下将自然语言文本映射到知识库实体的挑战。
• 通过基于图的随机游走并结合文本特征，为知识库实体创建连续向量空间，以改善文本到实体的对齐。
• 开发一种神经组合模型，能够在序列编码过程中动态消歧词义。
• 在大规模文本到实体映射、反向词典和文档分类任务上验证该方法的有效性。

提出的方法

• 该模型使用一种带有动态义项消歧的改进长短期记忆（LSTM）网络，称为多义LSTM（MS-LSTM），通过选择上下文相关的词义嵌入来处理多义性。
• 通过在增强文本特征节点（如与实体强关联的词语）的知识图谱图上进行随机游走，将知识库实体嵌入到连续向量空间中。
• 通过一种新颖的采样策略将文本特征整合到随机游走中，平衡实体节点与文本节点之间的遍历，从而改善文本与KB之间的语义衔接。
• 采用义项感知注意力机制，在训练过程中根据上下文动态选择并更新每个词的合适义项向量。
• 该模型学习将词向量组合为实体空间中的单一点，以表示短语或句子的语义含义。
• 通过在增强随机游走上训练的skip-gram模型构建实体空间，使分布语义能够弥合文本与知识图谱表示之间的差距。

实验结果

研究问题

• RQ1 具有动态义项消歧能力的神经序列模型是否能在多义性存在的情况下改善文本到实体的映射？
• RQ2 当将与实体强关联的文本特征整合到知识图谱随机游走中时，其在改善语义对齐方面的有效性如何？
• RQ3 基于图游走生成的连续分布实体空间是否在文本到实体映射中优于传统启发式或稀疏方法？
• RQ4 随机游走中实体节点与文本节点访问频率的平衡如何影响不同NLP任务的性能？
• RQ5 所提出的模型在直接映射之外的任务（如文档分类和反向词典任务）中具有多大程度的泛化能力？

主要发现

• 所提出的MS-LSTM模型在基于SNOMED CT的文本到实体映射任务中实现了最先进性能，优于先前方法。
• 在使用WordNet的反向词典任务中，该模型达到78.3%的top-1准确率和92.1%的top-3准确率，超越了之前的最先进结果。
• 在Cora数据集上的文档分类任务中，该模型实现了86.7%的宏F1分数，表明其在实体链接之外任务中也具有强大泛化能力。
• 将文本特征整合到随机游走中显著提升了性能，尤其在涉及直接文本到实体对齐的任务中。
• MS-LSTM中的动态消歧机制相比单义LSTM基线模型持续带来性能提升，尤其在处理多义词时表现更优。
• 文档分类任务的最优性能需要平衡的随机游走策略（λ ≈ 0.5–0.75），表明过多的文本特征可能因拓扑破坏而引入噪声。