[论文解读] Hierarchical Relational Learning for Few-Shot Knowledge Graph Completion

Han Wu, Jie Yin+2 more|arXiv (Cornell University)|Sep 2, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

该论文提出HiRe，一种用于少样本知识图谱补全的层次化关系学习框架，通过对比学习、基于Transformer的元关系学习器以及MTransD联合建模上下文级、三元组级和实体级关系信息。HiRe在基准数据集上实现了最先进性能，有效捕捉了少样本设置下的多层次关系依赖。

ABSTRACT

Knowledge graphs (KGs) are powerful in terms of their inference abilities, but are also notorious for their incompleteness and long-tail distribution of relations. To address these challenges and expand the coverage of KGs, few-shot KG completion aims to make predictions for triplets involving novel relations when only a few training triplets are provided as reference. Previous methods have focused on designing local neighbor aggregators to learn entity-level information and/or imposing a potentially invalid sequential dependency assumption at the triplet level to learn meta relation information. However, pairwise triplet-level interactions and context-level relational information have been largely overlooked for learning meta representations of few-shot relations. In this paper, we propose a hierarchical relational learning method (HiRe) for few-shot KG completion. By jointly capturing three levels of relational information (entity-level, triplet-level and context-level), HiRe can effectively learn and refine meta representations of few-shot relations, and thus generalize well to new unseen relations. Extensive experiments on benchmark datasets validate the superiority of HiRe over state-of-the-art methods. The code can be found in https://github.com/alexhw15/HiRe.git.

研究动机与目标

• 为解决现有少样本KG补全方法忽略上下文级和三元组级关系信息的局限性。
• 通过联合建模三种层次的关系信息（实体级、三元组级和上下文级），提升对新关系的泛化能力。
• 通过建模参考三元组之间的排列不变成对交互，克服先前方法中对序列依赖性的假设。
• 通过在上下文化三元组上进行对比学习，增强少样本关系的元表示学习。
• 通过消融研究和超参数敏感性分析，验证各组件的有效性。

提出的方法

• HiRe采用对比学习机制，通过区分每个目标三元组的真实上下文与虚假上下文，建模上下文级关系信息。
• 采用基于Transformer的模块，捕捉参考三元组之间的成对三元组级交互，实现排列不变的元关系学习。
• 通过MTransD对实体级关系学习进行优化，该方法在考虑实体和关系多样性的同时，对实体和关系嵌入施加约束。
• 采用基于MAML的训练策略，在统一框架内对每个元任务进行优化，实现对新关系的快速适应。
• 整体损失函数结合了边际损失和对比损失，通过超参数λ平衡，以确保有效监督。
• 模型采用端到端方式训练，统一框架整合了所有三个层次的关系学习。

实验结果

研究问题

• RQ1 联合建模上下文级、三元组级和实体级关系信息是否能提升少样本知识图谱补全性能？
• RQ2 基于Transformer的方法在捕捉少样本参考三元组之间的排列不变成对交互方面有多有效？
• RQ3 在三元组上下文上进行对比学习在多大程度上增强了对新关系的元表示学习？
• RQ4 HiRe的各个组件——上下文级、三元组级和实体级学习——对整体性能的贡献如何？
• RQ5 对于鲁棒性能，超参数N（虚假上下文数量）和λ（损失平衡系数）的最佳配置是什么？

主要发现

• HiRe在两个基准数据集上优于当前最先进方法，展现出在少样本知识图谱补全任务中的优越泛化能力。
• 消融研究显示，若移除MRL组件（基于Transformer的三元组级学习），在3-shot设置下MRR下降4%，在5-shot设置下下降5.4%，凸显其关键作用。
• 移除上下文级对比学习导致性能显著下降，验证了上下文信息在少样本学习中的重要性。
• 将MTransD替换为TransE导致性能显著下降，证实了使用MTransD进行实体级优化的必要性。
• 最优的虚假上下文数量N为1，因为当N超过1时，性能因对比损失过早收敛而下降。
• 最优超参数λ为0.05，能有效平衡边际损失与对比损失，当λ过大时性能下降。