[论文解读] Boosting Entity Linking Performance by Leveraging Unlabeled Documents

Phong Ba Le, Ivan Titov|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 24被引用 7

一句话总结

该论文提出了一种弱监督实体链接模型，利用维基百科和未标注文档实现与全监督最先进系统相当的性能。通过使用维基百科链接统计生成高召回率候选列表，并以这些列表作为弱监督信号训练文档级神经模型，该方法在无需人工标注数据的情况下学习到实体一致性与局部上下文感知能力，其性能优于以往基于维基百科的方法，并在AIDA CoNLL数据集上达到与监督模型相当的水平，甚至未使用其标注数据。

ABSTRACT

Modern entity linking systems rely on large collections of documents specifically annotated for the task (e.g., AIDA CoNLL). In contrast, we propose an approach which exploits only naturally occurring information: unlabeled documents and Wikipedia. Our approach consists of two stages. First, we construct a high recall list of candidate entities for each mention in an unlabeled document. Second, we use the candidate lists as weak supervision to constrain our document-level entity linking model. The model treats entities as latent variables and, when estimated on a collection of unlabelled texts, learns to choose entities relying both on local context of each mention and on coherence with other entities in the document. The resulting approach rivals fully-supervised state-of-the-art systems on standard test sets. It also approaches their performance in the very challenging setting: when tested on a test set sampled from the data used to estimate the supervised systems. By comparing to Wikipedia-only training of our model, we demonstrate that modeling unlabeled documents is beneficial.

研究动机与目标

• 开发一种无需昂贵人工标注训练数据的实体链接系统。
• 通过引入未标注文档，提升基于维基百科的实体链接性能。
• 证明在未标注数据上进行文档级一致性建模可与全监督系统相媲美。
• 探究基于维基百科和未标注文本的弱监督是否可替代昂贵的人工标注。
• 评估模型在低资源和分布外设置下的鲁棒性。

提出的方法

• 利用维基百科链接图和顶点诱导子图，为未标注文档中的提及生成高召回率候选实体列表。
• 在维基百科链接图上应用无参数的消息传递模型，传播链接统计信息并生成候选集合。
• 训练一个将实体视为隐变量的文档级神经模型，并利用候选列表作为弱监督约束。
• 优化模型以偏好与候选列表兼容的实体分配，同时偏好文档内实体之间的连贯共现。
• 在训练过程中同时利用每个提及的局部上下文以及与其他实体的全局一致性。
• 使用可微分的打分函数，联合建模局部上下文与文档级实体一致性。

实验结果

研究问题

• RQ1 在维基百科和未标注文档上进行弱监督训练的实体链接器是否能与全监督模型的性能相匹配？
• RQ2 在未标注数据上建模文档级一致性是否能超越简单的维基百科链接预测，从而提升实体链接性能？
• RQ3 所提出方法在分布外测试集上的表现如何，特别是在与监督模型同分布的数据上测试时？
• RQ4 与仅使用维基百科链接相比，未标注文档对性能的贡献程度如何？
• RQ5 是否存在某些命名实体类型，其性能显著偏低，原因是什么？

主要发现

• 所提模型在六个标准测试集中的四个上取得最佳F1分数，并在所有基准测试中平均性能最优。
• 在AIDA CoNLL测试集上——该数据集此前曾用于训练全监督模型——系统达到93.1%的F1分数，与最先进全监督模型在域内表现的最佳结果持平。
• 该模型优于以往所有基于维基百科的链接器，也优于直接预测维基百科链接的基线模型，证明了文档级建模的优势。
• 对于PER（人物）类型，模型达到97.20%的准确率，仅比全监督模型的97.73%低0.53%。
• 模型在区分MISC类型（如国籍与语言，例如'English'作为人或语言）时表现最弱，准确率为75.71%，而全监督模型为83.27%。
• 消融实验表明，局部上下文建模与文档级一致性建模均至关重要，两者均对性能有显著贡献。