[论文解读] InGram: Inductive Knowledge Graph Embedding via Relation Graphs
InGram 通过学习基于关系图的聚合并在推理阶段应用该聚合,无需重新训练即可将新关系和新实体推广到知识图中。
Inductive knowledge graph completion has been considered as the task of predicting missing triplets between new entities that are not observed during training. While most inductive knowledge graph completion methods assume that all entities can be new, they do not allow new relations to appear at inference time. This restriction prohibits the existing methods from appropriately handling real-world knowledge graphs where new entities accompany new relations. In this paper, we propose an INductive knowledge GRAph eMbedding method, InGram, that can generate embeddings of new relations as well as new entities at inference time. Given a knowledge graph, we define a relation graph as a weighted graph consisting of relations and the affinity weights between them. Based on the relation graph and the original knowledge graph, InGram learns how to aggregate neighboring embeddings to generate relation and entity embeddings using an attention mechanism. Experimental results show that InGram outperforms 14 different state-of-the-art methods on varied inductive learning scenarios.
研究动机与目标
- 在推理时可能出现新关系时,激励现实世界的知识图补全。
- 定义一个关系图以捕捉关系之间的亲和性并实现关系级聚合。
- 开发一种联动学习关系与实体嵌入的归纳嵌入方法,通过邻居聚合实现。
- 通过动态特征切分和随机初始化来提高对未见图的泛化能力。
- 在完全新颖的关系和实体的多样化诱导场景中展示强大的经验性能。
提出的方法
- 定义一个关系图,其中节点为关系,边权编码关系亲和性。
- 在关系图的邻居上使用注意力聚合,在L层内更新关系表示。
- 通过聚合邻居、它们连接的关系以及带有关系感知注意力的自嵌入来更新实体表示。
- 用学习得到的关系和实体嵌入,采用 DistMult 风格的得分函数 f(v_i, r_k, v_j) 来建模关系-实体交互。
- 在训练三元组上使用基于边际的排序损失,并采用动态重切分和随机初始化以提升泛化性。
- 推理时通过聚合新关系和实体的邻居,根据学习到的注意力参数和关系图结构生成嵌入。
实验结果
研究问题
- RQ1能否在不重新训练的情况下,在推理时为全新关系生成嵌入?
- RQ2关系图聚合在多样化的归纳场景中将知识有效传递给未见的关系和实体的能力如何?
- RQ3联合建模关系级和实体级聚合是否提升了相对于现有方法的归纳连边预测性能?
- RQ4动态特征切分和随机初始化对推理图的泛化有何影响?
- RQ5在具有不同新关系比例的数据集上,与先进的归纳 KG 完成方法相比,InGram 的表现如何?
主要发现
- InGram 在 12 个数据集上对不同的新关系比例显著优于 14 个基线方法。
- 当所有关系都是新关系(归纳关系设置)或存在已知/新关系混合(半归纳)时,模型仍保持较强性能。
- 基于关系图的聚合通过利用与已知关系的亲和性,有效嵌入未见关系。
- 实体嵌入受益于对邻居关系及连接实体的注意,提升了链接预测分数。
- 带有随机初始化的动态训练切分在推理图上提升了泛化性,并在消融设置中仍具帮助。
- 在 NL、WK、FB 基准上,InGram 相较于竞争方法在 MR、MRR、Hit@K 指标上显示显著提升。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。