[论文解读] Few-Shot Inductive Learning on Temporal Knowledge Graphs using Concept-Aware Information

Zifeng Ding, Jingpei Wu+4 more|arXiv (Cornell University)|Nov 15, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种用于时间知识图谱（TKGs）的 few-shot 归纳链接预测框架，首次引入了 few-shot 图外（OOG）链接预测任务。该方法采用元学习方法，结合时间感知图编码器与来自外部知识库的概念感知信息，在三个新构建的 TKG 数据集上实现了最先进性能，且概念感知建模带来了显著性能提升。

ABSTRACT

Knowledge graph completion (KGC) aims to predict the missing links among knowledge graph (KG) entities. Though various methods have been developed for KGC, most of them can only deal with the KG entities seen in the training set and cannot perform well in predicting links concerning novel entities in the test set. Similar problem exists in temporal knowledge graphs (TKGs), and no previous temporal knowledge graph completion (TKGC) method is developed for modeling newly-emerged entities. Compared to KGs, TKGs require temporal reasoning techniques for modeling, which naturally increases the difficulty in dealing with novel, yet unseen entities. In this work, we focus on the inductive learning of unseen entities' representations on TKGs. We propose a few-shot out-of-graph (OOG) link prediction task for TKGs, where we predict the missing entities from the links concerning unseen entities by employing a meta-learning framework and utilizing the meta-information provided by only few edges associated with each unseen entity. We construct three new datasets for TKG few-shot OOG link prediction, and we propose a model that mines the concept-aware information among entities. Experimental results show that our model achieves superior performance on all three datasets and our concept-aware modeling component demonstrates a strong effect.

研究动机与目标

• 解决时间知识图谱（TKGs）中对新出现的、未见过的实体进行链接预测的挑战，因为现有方法由于对已见实体的归纳偏差而无法处理此类情况。
• 为 TKGs 提出一个新颖的 few-shot 图外（OOG）链接预测任务，其中在推理阶段仅提供每个未见实体的少量边。
• 通过利用时间知识库中外部实体概念信息，改进对未见实体的归纳表示学习。
• 开发一种元学习框架，实现从已见实体到仅用少量支持样本的未见实体的知识迁移。
• 构建三个新的基准数据集——ICEWS14-OOG、ICEWS18-OOG 和 ICEWS0515-OOG，用于 TKG 中的 few-shot OOG 链接预测。

提出的方法

• 设计一种元学习框架，仅使用每个新实体的少量支持四元组，即可实现从已见实体到未见实体的归纳知识迁移。
• 实现一种时间感知图编码器，根据时间上下文和结构接近度动态关注不同支持四元组的重要性。
• 通过一个概念感知模块将来自知识库的外部实体概念信息整合到模型中，该模块学习实体概念的语义表示。
• 采用元优化策略，模型在多个 few-shot 任务中进行训练，每个任务模拟一组不同的未见实体及其少量支持事实。
• 应用基于评分的链接预测头，利用时间感知编码器生成的上下文表示和概念感知特征，计算候选主体/对象实体的合理性得分。
• 利用分层实体概念（如“政府”、“外交部”）提升泛化能力，t-SNE 可视化结果证实了概念表示的语义聚类。

实验结果

研究问题

• RQ1 基于 few-shot 元学习框架是否能有效预测时间知识图谱中仅提供少量支持边的未见实体的链接？
• RQ2 在 TKG 中，引入外部实体概念信息在多大程度上能提升对未见实体的归纳链接预测性能？
• RQ3 对于未见实体，随着 shot 大小（即支持边数量）的增加，所提模型的性能如何变化？
• RQ4 概念感知建模组件是否学习到了支持向新实体泛化的语义上有意义的表示？
• RQ5 当在推理过程中使用不同 shot 大小或随机采样的支持集时，模型的鲁棒性如何？

主要发现

• 所提出的 FILT 模型在新构建的三个数据集——ICEWS14-OOG、ICEWS18-OOG 和 ICEWS0515-OOG 上均实现了最先进性能，在 Hits@1、Hits@3、Hits@10 和 MRR 指标上全面优于所有基线模型。
• 在 ICEWS18-OOG 的 3-shot 设置下，FILT 实现 MRR 为 0.321，Hits@1 为 0.240，Hits@10 为 0.475，显著优于次优基线模型。
• 消融实验表明，移除概念感知模块后，ICEWS14-OOG 上 MRR 下降最高达 0.045，ICEWS18-OOG 上最高达 0.035，证实其关键作用。
• 跨 shot 分析显示，性能随 shot 大小增加而提升，且在 5-shot 测试中，3-shot 训练的模型泛化能力优于 1-shot 模型。
• t-SNE 可视化结果证实，模型学习到了语义一致的概念表示，概念聚类呈现出有意义的分组（如“政党”与“政府”彼此接近）。
• 模型在元测试阶段对随机 shot 采样表现出鲁棒性，性能下降极小，表明其具备强大的泛化能力。