[论文解读] Jointly Embedding Relations and Mentions for Knowledge Population

Miao Fan, Kai Cao+2 more|arXiv (Cornell University)|Apr 7, 2015

Topic Modeling参考文献 15被引用 6

一句话总结

该论文提出了一种联合关系提及嵌入（JRME）模型，能够同时学习知识库中实体和关系以及文本提及中词语的低维向量表示，从而实现在结构化知识与非结构化文本之间的统一表示学习。该模型实现了最先进性能，在NELL数据集上的平均排名降低了20%，并提升了Hit@10和Hit@1的得分，优于现有方法如IIKE和TME。

ABSTRACT

This paper contributes a joint embedding model for predicting relations between a pair of entities in the scenario of relation inference. It differs from most stand-alone approaches which separately operate on either knowledge bases or free texts. The proposed model simultaneously learns low-dimensional vector representations for both triplets in knowledge repositories and the mentions of relations in free texts, so that we can leverage the evidence both resources to make more accurate predictions. We use NELL to evaluate the performance of our approach, compared with cutting-edge methods. Results of extensive experiments show that our model achieves significant improvement on relation extraction.

研究动机与目标

• 弥合关系抽取中结构化知识库与非结构化自由文本之间的差距。
• 解决知识库存储库与文本提及之间的异质性，这种异质性限制了证据共享。
• 通过联合学习实体、关系和提及词语的嵌入来提升关系预测的准确性。
• 利用NELL自动生成的提及中的知识库三元组和文本证据。
• 在多种评估协议下，超越现有最先进方法在关系抽取中的表现。

提出的方法

• 提出一种联合嵌入模型（JRME），用于学习知识三元组中的实体和关系以及文本关系提及中词语的共享低维向量表示。
• 使用基于边距的损失函数来优化联合嵌入空间，其中知识基嵌入（KBE）、基于文本的提及嵌入（TME）和联合模型（JRME）分别设置独立的边距。
• 在统一的嵌入空间中，通过向量运算建模头实体与尾实体及其关系之间的相似性。
• 在两个NELL数据集——NELL-50K和NELL-5M上进行训练，结合知识库信念及其对应的文本提及。
• 使用验证集来调整超参数：维度d=100，边距α=1.0，β=1.0，γ=2.0。
• 使用基于排名的指标（平均排名、Hit@10、Hit@1）评估模型在关系预测任务中的性能。

实验结果

研究问题

• RQ1 联合学习知识库三元组和文本关系提及的嵌入是否能提升关系抽取的准确性？
• RQ2 与仅依赖知识图谱或仅依赖文本的模型相比，整合提及中的文本证据在性能上带来了多大提升？
• RQ3 所提出的JRME模型在关系预测任务中，与TransE、KRE、TME和IIKE等最先进方法相比，性能提升程度如何？
• RQ4 该模型在噪声和规模方面是否具备鲁棒性，特别是在NELL-5M等大规模数据集上？
• RQ5 统一的向量空间表示能否有效压缩并交换结构化与非结构化数据源之间的信息？

主要发现

• 在NELL-50K数据集上，JRME实现了最低的平均排名6.2，优于IIKE（7.5）和TME（11.5）。
• 在NELL-5M上，JRME的平均排名为3.0，显著低于TransE（77.1）和KRE（57.5）。
• JRME在NELL-50K上的Hit@10达到87.8%，在NELL-5M上达到96.7%，优于IIKE（81.8%和82.6%）和TME（80.0%和96.3%）。
• JRME在NELL-50K上的Hit@1得分为60.2%，在NELL-5M上为68.0%，优于IIKE（56.8%和53.2%）和TME（56.0%和63.6%）。
• 该模型在中等规模（NELL-50K）和大规模（NELL-5M）数据集上均表现出对噪声和规模的鲁棒性，性能保持稳定。
• 通过联合学习文本提及与知识库关系，相较于最先进方法IIKE，平均排名相对降低了20%。