[论文解读] Improving Entity Linking by Modeling Latent Relations between Mentions

Phong Ba Le, Ivan Titov|arXiv (Cornell University)|Apr 27, 2018

Topic Modeling参考文献 18被引用 29

一句话总结

本文提出一种神经实体链接模型，将提及之间的关系视为潜在变量，在无监督条件下端到端学习这些关系，以提升链接准确率。通过建模多种潜在关系（如共指和语义相关性），该方法在AIDA-CoNLL数据集上实现了89.55的新SOTA F1分数，相比之前方法提升0.85%，同时由于通过诱导关系引入结构偏差，训练速度提升十倍。

ABSTRACT

Entity linking involves aligning textual mentions of named entities to their corresponding entries in a knowledge base. Entity linking systems often exploit relations between textual mentions in a document (e.g., coreference) to decide if the linking decisions are compatible. Unlike previous approaches, which relied on supervised systems or heuristics to predict these relations, we treat relations as latent variables in our neural entity-linking model. We induce the relations without any supervision while optimizing the entity-linking system in an end-to-end fashion. Our multi-relational model achieves the best reported scores on the standard benchmark (AIDA-CoNLL) and substantially outperforms its relation-agnostic version. Its training also converges much faster, suggesting that the injected structural bias helps to explain regularities in the training data.

研究动机与目标

• 通过在文档中提及之间建模潜在的、无监督的关系，提升实体链接性能。
• 通过将关系视为端到端训练框架中的潜在变量，减少对启发式或有监督关系检测的依赖。
• 通过引入通过诱导关系产生的结构偏差，提升模型泛化能力和训练效率。
• 探索所学习的潜在关系是否能捕捉有意义的语篇和语义约束，如共指和语义相似性。
• 评估多关系建模对实体链接性能和收敛速度的影响。

提出的方法

• 该模型采用多关系神经架构，提及之间的关系被表示为潜在变量，而非预定义或有监督的。
• 采用表示学习技术，联合嵌入提及、上下文和关系，减少对手动特征工程的需求。
• 通过注意力机制加权关系强度，优化一个结合局部提及得分和基于潜在关系的一致性得分的全局目标函数。
• 提出两种变体：rel-norm（基于关系的注意力）和ment-norm（基于提及的注意力），两者均能同时建模多种关系。
• 通过反向传播进行端到端训练，关系在优化过程中自动诱导，无需外部监督。
• 模型利用可微分推理机制计算注意力权重αijk，表示通过关系k，提及i与提及j之间的关系强度。

实验结果

研究问题

• RQ1 在不依赖标注关系数据的前提下，建模提及之间的潜在关系是否能提升实体链接性能？
• RQ2 所诱导的潜在关系是否能捕捉到有意义的语言或语义约束，如共指或语义相似性？
• RQ3 与无关系感知模型相比，整合多种潜在关系是否能带来更快的收敛速度和更好的泛化能力？
• RQ4 从学习关系中获得的结构偏差是否能解释训练数据中的规律性，从而实现更高效的优化？
• RQ5 所诱导的关系是否具有可解释性，能否与已知的语篇关系（如共指或参与者角色）对齐？

主要发现

• 所提出的多关系模型在AIDA-CoNLL基准上实现了89.55的新SOTA F1分数，相比之前最佳结果提升0.85%。
• 带有潜在关系的模型在实际运行时间上收敛速度比无关系感知基线快十倍（少于1.5小时），而基线模型训练时间超过15小时。
• 定性分析表明，部分诱导关系类似于共指，另一些则编码了语义相关性，表明模型学习到了有意义的语篇模式。
• ment-norm变体学习到互补关系：一种偏好共指提及，另一种偏好语义相关但非共指的提及。
• 即使与最优 oracle 模型相比，该模型的性能增益依然显著，表明诱导关系比启发式或简化的连贯性建模更有效。
• 尽管模型复杂度增加，推理时间与基线相比仍可忽略不计，使该方法在实际部署中具有可行性。