[论文解读] Named Entity Disambiguation using Deep Learning on Graphs

Alberto Cetoli, Mohammad Akbari+3 more|arXiv (Cornell University)|Oct 22, 2018

Topic Modeling参考文献 27被引用 9

一句话总结

该论文提出了一种基于Wikidata图的深度学习方法用于命名实体消歧（NED），通过Bi-LSTM编码图三元组生成上下文向量。在新创建的Wikidata-Disamb数据集上，该方法取得了91.6%的F1分数，较基线模型高出7.1%。其中，对三元组使用Bi-LSTM最为有效，图拓扑结构的作用则相对次要。

ABSTRACT

We tackle \ac{NED} by comparing entities in short sentences with \wikidata{} graphs. Creating a context vector from graphs through deep learning is a challenging problem that has never been applied to \ac{NED}. Our main contribution is to present an experimental study of recent neural techniques, as well as a discussion about which graph features are most important for the disambiguation task. In addition, a new dataset (\wikidatadisamb{}) is created to allow a clean and scalable evaluation of \ac{NED} with \wikidata{} entries, and to be used as a reference in future research. In the end our results show that a \ac{Bi-LSTM} encoding of the graph triplets performs best, improving upon the baseline models and scoring an m{F1} value of $91.6\%$ on the \wikidatadisamb{} test set

研究动机与目标

• 评估深度学习技术从Wikidata图中生成上下文向量以提升NED准确性的能力。
• 探究图特征（如节点内容、边类型或拓扑结构）中哪些对消歧最具信息量。
• 使用Wikidata条目创建一个新的、可扩展的基准数据集（Wikidata-Disamb），用于NED任务，替代基于Wikipedia的参考。
• 比较神经网络架构（如Bi-LSTM、GCN和GRU）在编码图信息用于实体消歧方面的表现。
• 确定基于三元组的表示方法还是完整的图拓扑结构在短文本NED中表现更优。

提出的方法

• 从Wikidata条目构建图，节点代表实体，边代表关系，使用GloVe词向量对节点和边的标签进行嵌入。
• 从图中提取三元组（主语-谓语-宾语），并使用Bi-LSTM对三元组进行编码，以建模关系结构中的序列依赖性。
• 通过对其文本标签的GloVe向量取平均，生成节点和边的嵌入，从而实现对符号知识的神经处理。
• 采用带有平均池化的前馈网络作为基线模型，与基于RNN的模型进行性能比较。
• 应用图卷积网络（GCN）以探索拓扑编码，但由于大多数图呈现树状结构，性能受限。
• 在RNN模型中引入注意力机制，以在生成上下文向量时对重要三元组进行加权。

实验结果

研究问题

• RQ1 在NED背景下，哪种深度学习架构——Bi-LSTM、GCN还是GRU——在编码Wikidata图时表现最佳？
• RQ2 使用完整图拓扑结构还是基于三元组的序列表示能带来更好的消歧性能？
• RQ3 与节点内容相比，边类型（关系标签）在区分实体方面有多重要？
• RQ4 当图结构多为树状时，图拓扑对模型性能的影响有多大？
• RQ5 在短文本消歧任务中，基于Wikidata图训练的神经模型能否超越传统方法？

主要发现

• 在Wikidata-Disamb测试集上，应用于图三元组的Bi-LSTM模型取得了最高的F1分数91.6%，显著优于基线模型。
• 仅使用节点嵌入和平均池化的基线模型取得84.5%的F1分数，而引入三元组上的Bi-LSTM后性能提升7.1%。
• 图卷积网络（GCN）表现较差，可能是因为数据集中Wikidata图多为树状结构，导致拓扑信号有限。
• 在三元组表示中包含边类型信息可带来显著的性能提升，表明关系上下文至关重要。
• 图的拓扑结构在消歧任务中起次要作用，因为数据集中大多数图都是简单的树结构，降低了GCN方法的优势。
• 所提出的Wikidata-Disamb数据集为未来基于Wikidata知识库的NED研究提供了清晰且可扩展的基准。