[论文解读] Inductive Relation Prediction by BERT

Hanwen Zha, Zhiyu Chen+1 more|arXiv (Cornell University)|Mar 12, 2021

Advanced Graph Neural Networks被引用 8

一句话总结

该论文提出 BertRL，一种基于 BERT 的知识图谱归纳关系预测模型，通过编码实体之间的推理路径来提升泛化能力和可解释性。该模型在归纳设置下实现最先进性能，相比 SOTA 方法在 Hits@1 上平均提升 6.3%，MRR 提升 6.5%；在少样本学习中表现尤为出色，Hits@1 最高提升达 32.7%。

ABSTRACT

Relation prediction in knowledge graphs is dominated by embedding based methods which mainly focus on the transductive setting. Unfortunately, they are not able to handle inductive learning where unseen entities and relations are present and cannot take advantage of prior knowledge. Furthermore, their inference process is not easily explainable. In this work, we propose an all-in-one solution, called BERTRL (BERT-based Relational Learning), which leverages pre-trained language model and fine-tunes it by taking relation instances and their possible reasoning paths as training samples. BERTRL outperforms the SOTAs in 15 out of 18 cases in both inductive and transductive settings. Meanwhile, it demonstrates strong generalization capability in few-shot learning and is explainable.

研究动机与目标

• 为解决基于嵌入的方法在归纳知识图谱补全中的局限性，即在未见实体和关系下无法处理而无需重新训练的问题。
• 通过将文本上下文和逻辑推理路径整合到预训练语言模型中，实现可解释且可泛化的关联预测。
• 克服现有基于规则和神经方法中缺乏先验知识利用以及少样本性能差的问题。
• 开发一个统一框架，在归纳和归纳设定下均表现良好，包括对未见关系的预测。
• 证明在 BERT 中显式进行基于路径的推理，相较于隐式实体-关系编码，能提升准确率和可解释性。

提出的方法

• BertRL 将目标三元组 (h, r, t) 周围的局部子图线性化为推理路径 p: (h, r₀, e₁), (e₁, r₁, e₂), ..., (eₙ, rₙ, t)，并将这些路径作为输入序列输入 BERT。
• 该模型通过将输入视为自然语言序列（'h r t' 后接路径描述）来微调 BERT 以执行关系预测。
• 它在推理过程中显式检索图谱知识，实现动态推理与可解释性，区别于记忆化方法。
• 该方法通过不依赖实体特定嵌入，支持归纳学习，从而可对未见实体进行预测。
• 该模型评估了多种路径编码策略，包括组合路径、独立路径和路径采样，以优化性能与效率。
• 该模型利用预训练 BERT 从文本中捕捉事实知识的能力，即使在训练数据有限的情况下也能提升性能。

实验结果

研究问题

• RQ1 预训练语言模型（如 BERT）是否可通过推理路径有效微调以执行知识图谱中的归纳关系预测？
• RQ2 与仅使用实体-关系三元组的输入表示相比，BERT 中基于路径的输入表示在准确率和泛化能力方面表现如何？
• RQ3 BertRL 在少样本和零样本设置下对未见实体和关系的泛化能力如何？
• RQ4 BertRL 是否能同时实现高准确率与可解释性，而传统基于嵌入的模型则不能？
• RQ5 路径编码策略的选择（如路径采样、组合路径）对模型性能和训练效率有何影响？

主要发现

• 在归纳知识图谱补全中，BertRL 相比最先进基线模型，Hits@1 平均绝对提升 6.3%，MRR 提升 6.5%。
• 在少样本学习中，BertRL 在 Hits@1 上最高实现 32.7% 的绝对提升，MRR 提升 27.8%，显著优于基线模型。
• 该模型在未见关系上表现出强大的泛化能力，展现出零样本关系预测的潜力。
• 仅使用 5–10 条路径的路径采样即可实现接近最优的性能，表明其对训练数据规模具有鲁棒性。
• 消融实验表明，组合多条路径并未提升性能，反而不如单独路径，暗示在数据稀缺条件下 BERT 难以处理复杂输入。
• BertRL 在多个基准测试中均优于归纳和归纳设置下的最先进方法，包括 TuckER、RuleN 和 KG-BERT。