[论文解读] Investigations on Knowledge Base Embedding for Relation Prediction and Extraction

Peng Xu, Denilson Barbosa|arXiv (Cornell University)|Feb 6, 2018

Topic Modeling参考文献 15被引用 5

一句话总结

本文评估了知识库嵌入（KBE）模型——TransE、DistMult 和 ComplEx——在关系预测与抽取任务中的表现，结果显示其在关系预测上表现优异，但与当前最先进的神经关系抽取模型结合时增益可忽略不计。核心贡献在于指出，由于 KBE 和神经关系抽取技术的双重进步，现有推理阶段的后期融合策略已失效，亟需新的整合方法。

ABSTRACT

We report an evaluation of the effectiveness of the existing knowledge base embedding models for relation prediction and for relation extraction on a wide range of benchmarks. We also describe a new benchmark, which is much larger and complex than previous ones, which we introduce to help validate the effectiveness of both tasks. The results demonstrate that knowledge base embedding models are generally effective for relation prediction but unable to give improvements for the state-of-art neural relation extraction model with the existing strategies, while pointing limitations of existing methods.

研究动机与目标

• 评估现有 KBE 模型（TransE、DistMult 和 ComplEx）在关系预测与抽取任务中的有效性。
• 构建一个更大、更复杂的新型基准，以更全面地评估 KBE 模型在关系预测与抽取中的表现。
• 探究将 KBE 表示与神经关系抽取模型结合是否能提升性能。
• 识别当前将 KBE 与神经关系抽取模型结合策略的局限性。
• 为未来研究提供指导，推动结构化知识库嵌入与神经关系抽取之间更有效的整合方法。

提出的方法

• 本研究在四个现有基准和一个新引入的更大、更复杂的基准上，评估了三种 KBE 模型（TransE、DistMult 和 ComplEx）的表现。
• 在关系预测任务中，采用 'Raw' 和 'Filter' 两种评估设置，使用 Hits@1 和 Hits@10 作为评估指标。
• 在关系抽取任务中，采用混合模型将神经关系抽取得分与 KBE 排名得分通过加权平均结合：$ S(s,\hat{r}_{s,o},o) = \alpha S_{RE}(\hat{r}_{s,o}|\mathcal{S}) + (1-\alpha)f_{\hat{r}_{s,o}}(s,o) $。
• 超参数 $ \alpha \in (0,1] $ 控制文本特征得分与知识库特征得分之间的平衡，当 $ \alpha=1 $ 时等价于原始神经模型。
• 测试了多种融合策略，包括几何平均、调和平均、Softmax 变换，以及对所有或前 K 个非 NA 预测结果取平均。
• 通过精确率-召回率曲线比较不同 $ \alpha $ 值下融合模型与独立神经模型的性能。

实验结果

研究问题

• RQ1 现有 KBE 模型能否通过后期融合策略有效提升当前最先进的神经关系抽取模型？
• RQ2 KBE 模型在新型、更大、更复杂的基准上进行关系预测时表现如何？
• RQ3 为何尽管 KBE 模型在关系预测上表现强劲，但现有融合策略在关系抽取任务中仍无法提升性能？
• RQ4 当前在推理阶段结合 KBE 与神经关系抽取模型的方法存在哪些局限性？
• RQ5 需要何种新型整合策略，才能有效利用 KBE 改进关系抽取？

主要发现

• ComplEx 在所有关系预测基准上表现最佳，显著优于 DistMult，并在不同数据集间展现出高度一致性。
• TransE 在部分数据集上表现与 ComplEx 相当，表明链接预测与关系预测任务之间存在本质差异。
• 将 KBE 得分与神经关系抽取得分结合的模型仅带来可忽略的性能提升，且通常劣于独立的神经模型。
• 当 $ \alpha < 1 $ 时，融合模型的性能始终更差，表明引入 KBE 得分会降低神经模型的预测质量。
• 替代融合策略（如几何平均、调和平均、Softmax 变换，以及对所有预测结果取平均）未提升性能，甚至在某些情况下造成性能下降。
• 结果表明，现有后期融合策略已失效，原因在于 KBE 与神经关系抽取技术的双重进步，亟需开发新型整合方法。