[论文解读] Neural Networks Models for Entity Discovery and Linking

Dan Liu, Wei Lin+3 more|arXiv (Cornell University)|Nov 11, 2016

Topic Modeling参考文献 7被引用 16

一句话总结

本论文介绍了2016年TAC KBP三语实体识别与链接（EDL）任务中的USTC_NELSLIP系统，采用条件RNN语言模型和基于注意力的编码器-解码器进行联合提及检测，使用神经排序模型进行实体链接，并结合基于规则的NIL聚类方法。最佳系统在typed_mention_ceaf_plus指标上取得了0.624的F1分数，展现了在英语、中文和西班牙语中的强劲性能。

ABSTRACT

This paper describes the USTC_NELSLIP systems submitted to the Trilingual Entity Detection and Linking (EDL) track in 2016 TAC Knowledge Base Population (KBP) contests. We have built two systems for entity discovery and mention detection (MD): one uses the conditional RNNLM and the other one uses the attention-based encoder-decoder framework. The entity linking (EL) system consists of two modules: a rule based candidate generation and a neural networks probability ranking model. Moreover, some simple string matching rules are used for NIL clustering. At the end, our best system has achieved an F1 score of 0.624 in the end-to-end typed mention ceaf plus metric.

研究动机与目标

• 解决在TAC KBP 2016 EDL任务中，对英语、中文和西班牙语三种语言的命名实体和名词性提及进行联合检测与链接的挑战。
• 通过神经序列模型建模长期依赖关系和嵌套实体结构，提升提及检测性能。
• 通过在手工特征上训练的神经排序模型和基于规则的NIL聚类策略，提升实体链接性能。
• 开发一种高效、端到端的系统，能够在评估窗口约束内处理90,000篇文档。

提出的方法

• 采用条件RNN语言模型（RNN-LM）进行提及检测中的序列标注，结合1D-CNN进行输入编码，以及GRU进行自回归标签预测。
• 应用基于注意力的编码器-解码器模型，通过将树状结构的实体表示线性化为序列，检测嵌套提及。
• 在实体链接中，使用前馈神经网络基于手工特征（如提及字符串相似度、表面形式匹配和知识库统计）对候选实体进行排序。
• 采用基于规则的NIL聚类策略，将相同（不区分大小写）的提及字符串聚类，并将名词性NIL提及链接到同类型最近的命名提及。
• 系统集成通过结合两个提及检测模型（RNN-LM和基于注意力的编码器-解码器）的结果，提升召回率，同时保持高精确率。
• 神经排序模型使用mini-batch AdaDelta在EDL2015数据集上进行训练，包含2个隐藏层（分别含512和256个单元）和Sigmoid激活函数。

实验结果

研究问题

• RQ1 条件RNN语言模型是否能有效建模多语言实体识别与链接中提及检测的长期依赖关系？
• RQ2 基于注意力的编码器-解码器框架在KBP任务中是否比传统CRF模型更有效地处理嵌套实体结构？
• RQ3 基于手工特征的神经排序模型是否在多种语言的实体链接任务中优于传统启发式方法？
• RQ4 在低资源语言（如中文和西班牙语）中，简单的基于规则的字符串匹配方法在NIL提及聚类中的有效性如何？
• RQ5 多个提及检测模型的集成学习是否能提升端到端实体识别与链接的整体F1性能？

主要发现

• 条件RNN-LM与基于注意力的编码器-解码器模型的集成在实体发现任务中取得了最高的F1分数0.759，优于单一模型。
• 实体链接系统在typed_mention_ceaf_plus指标上取得了0.624的F1分数，其中英语表现最佳（F1=0.642），其次是西班牙语（F1=0.585）和中文（F1=0.636）。
• 条件RNN-LM模型实现了0.850的精确率和0.678的召回率，表明其精确率较强但召回率尚不理想。
• 基于注意力的编码器-解码器模型实现了0.836的精确率和0.681的召回率，性能与RNN-LM模型相当。
• 使用五个神经排序模型的集成在实体链接任务中带来了微小但可测量的性能提升。
• 基于字符串匹配的基于规则的NIL聚类方法未优于更简单的方法，表明在此设置下，字符串级相似度已足够用于NIL聚类。