[论文解读] Neural Collective Entity Linking

Yixin Cao, Lei Hou+2 more|arXiv (Cornell University)|Nov 21, 2018

Topic Modeling参考文献 34被引用 61

一句话总结

NCEL develops a neural collective entity linking model that uses Graph Convolutional Networks on subgraphs with an attention mechanism, trained on Wikipedia hyperlinks, and achieves strong generalization across five benchmarks.

ABSTRACT

Entity Linking aims to link entity mentions in texts to knowledge bases, and neural models have achieved recent success in this task. However, most existing methods rely on local contexts to resolve entities independently, which may usually fail due to the data sparsity of local information. To address this issue, we propose a novel neural model for collective entity linking, named as NCEL. NCEL applies Graph Convolutional Network to integrate both local contextual features and global coherence information for entity linking. To improve the computation efficiency, we approximately perform graph convolution on a subgraph of adjacent entity mentions instead of those in the entire text. We further introduce an attention scheme to improve the robustness of NCEL to data noise and train the model on Wikipedia hyperlinks to avoid overfitting and domain bias. In experiments, we evaluate NCEL on five publicly available datasets to verify the linking performance as well as generalization ability. We also conduct an extensive analysis of time complexity, the impact of key modules, and qualitative results, which demonstrate the effectiveness and efficiency of our proposed method.

研究动机与目标

• 动机：提出联合实体链接的必要性，以克服消歧中的局部上下文稀疏性。
• 提出一种神经模型，通过 subgraph GCN 将局部上下文特征与全局一致性结合起来。
• 通过整合候选特征、子图结构和注意力实现端到端训练。
• 通过在相邻提及的子图上执行图卷积，而不是在整个图上执行，以提升效率。

提出的方法

• 使用来自 Wikipedia、网络语料和 YAGO 的基于先验的字典为每个提及生成候选实体。
• 提取局部特征（字符串相似性，通过注意力的联合嵌入实现的兼容性）和全球特征（相邻提及的兼容性以及子图结构）。
• 在一个联合嵌入空间中对提及与候选实体进行表征，采用对词语/提及和实体的语义感知表示。
• 应用多层编码器，随后是对一个截断的相邻提及子图进行运算的 sub-graph convolutional network，以及一个解码器来预测候选概率。
• 通过最小化跨文档的预测候选与真实候选之间的交叉熵实现端到端训练。
• 使用注意力机制对有助于候选人选兼容性的上下文单词进行加权，从而提高对噪声的鲁棒性。

实验结果

研究问题

• RQ1 NCEL 是否在多样化数据集上实现比最先进的局部和全局模型更高的链接准确率？
• RQ2 基于子图的 GCN 能否在不进行全图计算的情况下有效捕捉文档级一致性？
• RQ3 注意力机制和联合嵌入如何影响对噪声数据和领域偏差的鲁棒性？
• RQ4 本方法中局部特征与全局特征对 NCEL 性能的相对贡献是多少？
• RQ5 在 Wikipedia 超链接上训练能在标准 EL 基准上泛化到多大程度？

主要发现

• NCEL 在五个公开 EL 基准上持续优于多种基线，具有强泛化能力。
• 使用相邻提及的子图在显著提高效率的同时保持有竞争力的性能。
• 注意力机制增强对噪声的鲁棒性，并提升歧义消解的特征质量。
• 联合词/实体嵌入实现了在端到端框架内对局部和全局线索的有效整合。
• 在 Wikipedia 超链接上的训练在数据集和领域间实现了强泛化。
• 定性分析显示 NCEL 从邻近提及信号中获益，以在具有挑战性的情形中进行消歧。