[论文解读] Capturing Semantic Similarity for Entity Linking with Convolutional Neural Networks

Matthew Francis-Landau, Greg Durrett+1 more|arXiv (Cornell University)|Apr 4, 2016

Topic Modeling参考文献 19被引用 27

一句话总结

本文提出一种基于卷积神经网络（CNN）的方法，通过在多个文本粒度上建模提及上下文与候选实体之间的语义相似性，以改进实体链接。通过使用CNN从提及上下文、文档段落和实体标题中提取主题向量，并结合余弦相似度特征，该模型在ACE、CoNLL和Wikipedia数据集上实现了最先进性能，通过利用深度学习获得的丰富语义表征，超越了基于启发式方法的先前系统。

ABSTRACT

A key challenge in entity linking is making effective use of contextual information to disambiguate mentions that might refer to different entities in different contexts. We present a model that uses convolutional neural networks to capture semantic correspondence between a mention's context and a proposed target entity. These convolutional networks operate at multiple granularities to exploit various kinds of topic information, and their rich parameterization gives them the capacity to learn which n-grams characterize different topics. We combine these networks with a sparse linear model to achieve state-of-the-art performance on multiple entity linking datasets, outperforming the prior systems of Durrett and Klein (2014) and Nguyen et al. (2014).

研究动机与目标

• 通过使用深度学习而非启发式方法，捕捉提及上下文与候选实体之间的语义相似性，以改进实体链接。
• 探究多个文本粒度（提及、上下文、文档）是否为消歧提供互补信息。
• 将学习到的基于CNN的语义特征与现有的稀疏线性模型结合，以提升性能。
• 评估不同词嵌入来源（Google News与Wikipedia）对模型性能的影响。
• 分析在实体链接背景下，学习到的卷积滤波器的可解释性与行为特征。

提出的方法

• 该模型使用卷积神经网络（CNN）从不同文本粒度生成密集主题向量：源端包括提及、直接上下文和完整文档，目标端包括标题和文章文本。
• 每个词通过word2vec嵌入为300维向量，使用ReLU激活函数和求和池化的CNN对固定大小（ℓ=5）的n-gram窗口提取特征。
• 计算源端与目标端对应主题向量之间的余弦相似度（例如，文档上下文与实体文章），形成语义相似度特征向量。
• 将这些学习到的CNN特征与稀疏指示特征结合，在对数线性模型中预测给定提及最可能的实体。
• 系统采用端到端训练，优化词嵌入和CNN滤波器参数，使用标准word2vec工具包，训练10轮，上下文窗口大小为21个词。
• 在ACE、CoNLL和Wikipedia数据集上评估模型，比较不同嵌入来源和特征组合的性能。

实验结果

研究问题

• RQ1 卷积神经网络能否有效学习并表征提及上下文与候选实体之间在多个文本粒度上的语义相似性？
• RQ2 与仅使用单一粒度相比，结合多个粒度的上下文（如提及、上下文窗口、完整文档）是否能提升实体链接性能？
• RQ3 学习到的CNN特征与传统稀疏特征（如tf-idf）相比，在性能和互补性方面表现如何？
• RQ4 预训练词嵌入的选择（Google News与Wikipedia）是否显著影响模型性能？
• RQ5 学习到的卷积滤波器在多大程度上具有可解释性？它们是否捕捉到特定主题的n-gram？

主要发现

• 使用全部六个基于CNN的语义相似度特征（来自多个粒度）的完整模型表现最佳，F1分数分别为ACE数据集84.85、CoNLL数据集86.91、Wikipedia数据集82.02。
• 仅使用文档级上下文和实体文章文本（cosim(s_doc, t_doc)）的性能为ACE数据集77.43 F1，低于完整模型。
• 仅使用提及和实体标题（cosim(s_ment, t_title)）的F1分数为ACE数据集80.19，表明即使是最小上下文也能有效，但仍逊于完整特征集。
• Wikipedia训练的词嵌入优于Google News嵌入，在ACE数据集上达到89.5 F1，在CoNLL数据集上达到90.6 F1，可能由于OOV率更低。
• 将CNN特征与稀疏线性特征结合后性能得到提升，表明深度学习与传统方法具有互补优势。
• 对学习到的滤波器进行分析发现，部分滤波器能捕捉特定主题的n-gram（如“rock group”、“baseball pitcher”），而另一些则难以解释，可能因激活度低或多个主题叠加所致。