[论文解读] Connecting Language and Knowledge Bases with Embedding Models for Relation Extraction

Jason Weston, Antoine Bordes+2 more|arXiv (Cornell University)|Jul 30, 2013

Natural Language Processing Techniques被引用 23

一句话总结

该论文提出了一种联合嵌入模型，通过将文本提及与知识库（KB）三元组关联，以提升关系抽取性能。该模型使用两个打分函数：一个用于将关系提及与KB中的关系匹配，另一个用于对KB三元组进行打分。通过在文本和KB数据上进行联合训练，该模型在NYT+FB基准上实现了最先进性能，显著优于仅使用文本的方法，尤其在低召回率水平下表现突出。

ABSTRACT

This paper proposes a novel approach for relation extraction from free text which is trained to jointly use information from the text and from existing knowledge. Our model is based on two scoring functions that operate by learning low-dimensional embeddings of words and of entities and relationships from a knowledge base. We empirically show on New York Times articles aligned with Freebase relations that our approach is able to efficiently use the extra information provided by a large subset of Freebase data (4M entities, 23k relationships) to improve over existing methods that rely on text features alone.

研究动机与目标

• 通过联合利用文本证据和结构化知识库（KB）三元组，提升关系抽取性能。
• 解决现有方法仅依赖弱监督文本特征的局限性。
• 通过从大规模KB中学习，实现对未见（h,r,t）三元组的泛化能力。
• 设计一个统一的嵌入空间，使文本提及、实体和KB关系能够一致地进行打分。
• 证明引入外部KB数据可提升性能，尤其在低召回率场景下表现更优。

提出的方法

• 该模型使用两个打分函数：$ S_{m2r}(m,r) = \mathbf{f}(m)^\top \mathbf{r} $，通过学习到的词嵌入将关系提及映射到KB关系。
• 函数 $ \mathbf{f}(m) = \mathbf{W}^\top \Phi(m) $ 使用学习到的权重矩阵 $ \mathbf{W} $，将一个词窗口投影到 $ k $-维嵌入空间。
• 第二个打分函数 $ \tilde{S}_{kb}(h,r,t) $ 在共享向量空间中，利用实体和关系嵌入评估KB三元组 $ (h,r,t) $ 的合理性。
• 最终预测结合了两个分数：$ S_{m2r+kb}(h,\hat{r}_{h,t},t) = \sum_{m \in \mathcal{M}_{h,t}} S_{m2r}(m,\hat{r}_{h,t}) + \tilde{S}_{kb}(h,\hat{r}_{h,t},t) $。
• 模型使用随机梯度下降（SGD）进行训练，嵌入维度为 $ k=50 $，并为两个组件分别设置学习率。
• 使用验证集对超参数进行调优，包括用于校准KB打分函数的温度参数 $ t=10 $。

实验结果

研究问题

• RQ1 通过联合学习文本提及和知识库三元组，能否使关系抽取性能超越仅使用文本的方法？
• RQ2 通过利用大规模KB，模型在多大程度上能泛化到未见的（h,r,t）三元组？
• RQ3 引入结构化KB数据是否能在低召回率水平下提升性能，此时精度至关重要？
• RQ4 统一的嵌入空间能否有效连接文本关系提及与正式的KB关系？
• RQ5 在相同评估协议下，该模型的性能与最先进方法相比如何？

主要发现

• 所提出的方法 Wsabie M2R+FB 在 NYT+FB 基准上实现了最先进性能，优于所有先前方法，尤其在低召回率区间（0–0.1）表现显著。
• 引入KB三元组显著提升了性能：Wsabie M2R+FB 超过了仅使用文本的 Wsabie M2R 模型及所有基线方法，包括 Hoffmann 和 mimlre。
• 该模型能有效泛化到未见的实体对，因为KB已过滤掉所有测试集中的实体对，防止了记忆化现象。
• 在400万个实体和23,000个关系上训练KB打分函数 $ \tilde{S}_{kb} $ 耗时2天，而提及模型仅用5分钟即可训练完成。
• 该方法展现出鲁棒性与可扩展性，使用了Freebase的一个大规模子集（400万实体，23,000个关系），且无需在文本和KB之间进行实体集合对齐。
• 该模型的性能增益在低召回率下最为显著，表明在关键抽取场景中精度得到显著提升。