[论文解读] Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs

Mingyang Chen, Wen Zhang+3 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Graph Neural Networks参考文献 25被引用 11

一句话总结

该论文提出了一种名为 Meta Relational Learning (MetaR) 的新型元学习框架，用于知识图谱中的少样本链接预测。通过利用关系特定的元信息——关系元（relation meta）用于共享知识迁移，梯度元（gradient meta）用于快速适应——MetaR 在基准数据集上实现了最先进性能，优于先前的方法如 GMatching，且无需依赖背景知识图谱。

ABSTRACT

Link prediction is an important way to complete knowledge graphs (KGs), while embedding-based methods, effective for link prediction in KGs, perform poorly on relations that only have a few associative triples. In this work, we propose a Meta Relational Learning (MetaR) framework to do the common but challenging few-shot link prediction in KGs, namely predicting new triples about a relation by only observing a few associative triples. We solve few-shot link prediction by focusing on transferring relation-specific meta information to make model learn the most important knowledge and learn faster, corresponding to relation meta and gradient meta respectively in MetaR. Empirically, our model achieves state-of-the-art results on few-shot link prediction KG benchmarks.

研究动机与目标

• 解决在仅提供少量三元组的情况下对特定关系进行链接预测的挑战（少样本设置）。
• 通过迁移关系特定的元知识，提升低数据环境下模型的泛化能力和学习速度。
• 设计一种对额外背景知识图谱不依赖、具备鲁棒性的元学习框架。
• 探究实体稀疏性和训练任务数量对少样本链接预测性能的影响。

提出的方法

• MetaR 引入了两种关系特定的元信息：关系元，用于从支持三元组中捕捉高阶关系模式；梯度元，用于编码损失梯度以实现快速适应。
• 模型使用关系学习器从少量观测三元组（支持集）中提取关系元，随后用于预测查询三元组的尾实体。
• 通过在支持集上反向传播计算梯度元，并在推理过程中利用其快速微调关系元，实现快速适应。
• 该框架采用端到端的元学习范式进行训练，每个训练周期（episode）对应一个具有唯一关系及支持/查询划分的少样本链接预测任务。
• MetaR 不需要背景知识图谱，使其在现实场景中更具鲁棒性，尤其是在此类图谱不可用时。
• 评分函数通过学习到的关系元计算三元组的可能性，推理过程中基于元信息更新实体嵌入。

实验结果

研究问题

• RQ1 关系特定的元信息是否能显著提升知识图谱中少样本链接预测的性能？
• RQ2 在低数据环境下，关系元与梯度元各自对模型性能的贡献如何？
• RQ3 缺乏背景知识图谱是否会影响少样本链接预测模型的鲁棒性？
• RQ4 实体稀疏性和训练任务数量如何影响 MetaR 的性能？

主要发现

• MetaR 在少样本链接预测基准上实现了最先进性能，优于现有方法如 GMatching。
• 消融实验表明，移除梯度元会使两个设置下的性能分别下降 29.3% 和 15%；若同时移除两种元组件，性能则分别下降 55% 和 72%，证明二者具有关键作用。
• 关系元的贡献显著高于梯度元，表明在此设置下，共享关系模式的影响大于快速适应机制。
• 性能对实体稀疏性高度敏感：当数据集中存在高比例的一次性实体（如 Wiki-One 中占 82.8%）时，除非使用预训练的实体嵌入，否则模型性能会下降。
• 增加训练任务数量可显著提升 MetaR 的性能；例如，在包含背景知识的情况下，NELL-One 数据集上的性能从 0.279（51 个任务）提升至 0.401（321 个任务）。
• 对于极度稀疏的数据集，预训练实体嵌入尤为有益，可缓解单三元组实体带来的不良表示问题。