[论文解读] Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations

Xin Lv, Yuxian Gu+4 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Graph Neural Networks参考文献 19被引用 25

一句话总结

本文提出 Meta-KGR，一种用于少样本多跳知识图谱推理的元学习方法，通过利用高频关系初始化低资源（少样本）关系的稳健推理策略。通过元学习初始化，Meta-KGR 在 FB15K-237 和 NELL-995 的少样本关系上均达到最先进性能，展现出在多样化知识图谱结构上的强大泛化能力与鲁棒性。

ABSTRACT

Multi-hop knowledge graph (KG) reasoning is an effective and explainable method for predicting the target entity via reasoning paths in query answering (QA) task. Most previous methods assume that every relation in KGs has enough training triples, regardless of those few-shot relations which cannot provide sufficient triples for training robust reasoning models. In fact, the performance of existing multi-hop reasoning methods drops significantly on few-shot relations. In this paper, we propose a meta-based multi-hop reasoning method (Meta-KGR), which adopts meta-learning to learn effective meta parameters from high-frequency relations that could quickly adapt to few-shot relations. We evaluate Meta-KGR on two public datasets sampled from Freebase and NELL, and the experimental results show that Meta-KGR outperforms the current state-of-the-art methods in few-shot scenarios. Our code and datasets can be obtained from https://github.com/ THU-KEG/MetaKGR.

研究动机与目标

• 为解决现有多跳推理模型在缺乏足够训练三元组的少样本关系上性能下降的问题。
• 开发一种方法，通过利用高频关系的元信息，实现推理智能体对低资源关系的快速适应。
• 通过保留符号化推理路径，保持模型可解释性，同时提升在少样本场景下的泛化能力。
• 评估所提方法在不同知识图谱结构和少样本阈值下的鲁棒性与泛化能力。

提出的方法

• 将每个关系特定的三元组查询视为一个任务，目标是学习用于路径和实体预测的推理策略。
• 使用元学习（MAML 风格）在高频关系上训练元策略网络，学习一种可跨任务泛化的共享初始化。
• 对于每个少样本关系，使用来自该关系的小型支持集三元组微调元初始化的策略网络。
• 采用强化学习训练推理智能体，以最大化基于实体预测准确率的奖励函数。
• 在训练过程中使用 ConvE 和 DistMult 作为得分函数计算奖励，其中 ConvE 表现更优。
• 通过小批量任务的梯度下降更新元参数，利用查询集评估的梯度来优化元策略。

实验结果

研究问题

• RQ1 元学习能否仅通过高频关系作为支持，有效初始化少样本关系的推理策略？
• RQ2 在真实世界知识图谱的少样本关系上，Meta-KGR 相较于最先进多跳推理模型表现如何？
• RQ3 元学习初始化是否能提升在不同知识图谱结构和少样本阈值下的泛化能力与鲁棒性？
• RQ4 模型能否在实现低资源关系高性能的同时，通过生成符号化推理路径保持可解释性？

主要发现

• Meta-KGR 在 FB15K-237 和 NELL-995 的少样本场景下均优于所有基线模型，包括 MultiHop 和 MINERVA，在 K=max 时 Hits@1 达到 41.2%。
• 在 K=5 时，模型在 FB15K-237 上 Hits@1 达到 29.6%，显著优于相同少样本设置下的 MultiHop（20.8%）。
• Meta-KGR 在不同少样本阈值 K 下表现出鲁棒性，即使每种关系仅有一个训练三元组（K=1）时，仍持续优于基线模型。
• 使用 ConvE 作为奖励函数的性能优于 DistMult，表明更具表现力的得分函数可增强推理策略训练。
• 模型在不同知识图谱间泛化良好，在密集型（FB15K-237）和稀疏型（NELL-995）知识图谱上均表现强劲。
• 实证分析证实，元学习初始化提供了强大的归纳偏置，使模型能够对低资源关系实现快速而有效的适应。