[论文解读] Meta-Learning Based Knowledge Extrapolation for Knowledge Graphs in the Federated Setting

Mingyang Chen, Wen Zhang+5 more|arXiv (Cornell University)|May 10, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出 MaKEr，一种基于元学习的图神经网络框架，用于联邦知识图谱中的知识外推，实现对未见实体和关系的零样本嵌入。通过在现有知识图谱中合成任务上进行元训练，MaKEr 利用关系和实体特征表示，结合关系位置图与基于 GNN 的编码，实现泛化能力，其在未见组件上的 MRR 表现相比归纳式和传统 KGE 基线模型最高提升 2.11 倍，适用于 u_both 三元组。

ABSTRACT

We study the knowledge extrapolation problem to embed new components (i.e., entities and relations) that come with emerging knowledge graphs (KGs) in the federated setting. In this problem, a model trained on an existing KG needs to embed an emerging KG with unseen entities and relations. To solve this problem, we introduce the meta-learning setting, where a set of tasks are sampled on the existing KG to mimic the link prediction task on the emerging KG. Based on sampled tasks, we meta-train a graph neural network framework that can construct features for unseen components based on structural information and output embeddings for them. Experimental results show that our proposed method can effectively embed unseen components and outperforms models that consider inductive settings for KGs and baselines that directly use conventional KG embedding methods.

研究动机与目标

• 解决在联邦学习约束下（数据去中心化且隐私保护）新兴知识图谱中未见实体和关系的嵌入挑战。
• 克服传统 KGE 模型在训练后无法泛化至新实体或关系的局限性。
• 设计一种模型，仅利用支持三元组中的结构信息，在联邦设置下外推未见组件的知识。
• 在无需共享数据或集成现有与新知识图谱的前提下，实现对新兴知识图谱的有效链接预测。

提出的方法

• 将知识外推任务形式化为元学习问题，从现有知识图谱中采样任务，以模拟在包含未见组件的新兴知识图谱上的链接预测。
• 构建关系位置图（RPG）以捕捉关系之间的相对位置关系，并生成关系级别的特征表示。
• 设计实体特征表示模块，编码实体的连通性与邻域结构，以支持特征学习。
• 将关系与实体特征整合至图神经网络（GNN）中，联合编码已见与未见组件，生成可泛化的嵌入表示。
• 在合成任务分布上对 GNN 框架进行元训练，以学习在推理阶段泛化至未见实体与关系的能力。
• 采用多任务学习目标，每个任务包含支持三元组与查询三元组，使模型能够学习零样本泛化的归纳偏差。

实验结果

研究问题

• RQ1 在固定实体与关系集合上训练的知识图嵌入模型，能否泛化至新出现的知识图谱中未见的实体与关系？
• RQ2 模型如何在不共享原始数据或集成知识图谱的前提下，在联邦设置下学习嵌入未见组件？
• RQ3 哪些架构组件对未见组件中有效的零样本知识外推至关重要？
• RQ4 元学习能否有效模拟在包含未见组件的新兴知识图谱上进行链接预测的泛化挑战？

主要发现

• 与基线模型相比，MaKEr 在 u_both 三元组（未见实体与关系）上的 MRR 提升 2.11 倍，Hits@10 提升 1.82 倍。
• 在 u_rel 三元组（仅未见关系）上，MRR 提升 0.56 倍，Hits@10 提升 1.02 倍，表明模型对未见关系具有强大的泛化能力。
• 消融实验表明，移除元学习设置导致性能下降最大（MRR：50.31 → 38.83），证实其在泛化中的关键作用。
• GNN 模块对性能至关重要，其移除后 MRR 降至 38.83，表明特征的联合编码对有效外推至关重要。
• t-SNE 可视化结果表明，MaKEr 为未见实体生成语义合理且类型一致的聚类，而 Asmp-KGE 无法区分实体类型。
• 基于 RPG 的关系特征表示能捕捉语义相似性，体现在语义相似的未见与已见关系在向量空间中位置接近。