[论文解读] Learning to Sample and Aggregate: Few-shot Reasoning over Temporal Knowledge Graphs

Ruijie Wang, Zheng Li+5 more|arXiv (Cornell University)|Oct 16, 2022

Advanced Graph Neural Networks被引用 22

一句话总结

本论文提出 MetaTKGR，一种用于少样本时态知识图推理的元学习框架，通过动态采样并聚合具有时间特征的邻居，并以基于 PAC-Bayes 理论的时态适应正则化器实现对新兴实体未来事实的预测。

ABSTRACT

In this paper, we investigate a realistic but underexplored problem, called few-shot temporal knowledge graph reasoning, that aims to predict future facts for newly emerging entities based on extremely limited observations in evolving graphs. It offers practical value in applications that need to derive instant new knowledge about new entities in temporal knowledge graphs (TKGs) with minimal supervision. The challenges mainly come from the few-shot and time shift properties of new entities. First, the limited observations associated with them are insufficient for training a model from scratch. Second, the potentially dynamic distributions from the initially observable facts to the future facts ask for explicitly modeling the evolving characteristics of new entities. We correspondingly propose a novel Meta Temporal Knowledge Graph Reasoning (MetaTKGR) framework. Unlike prior work that relies on rigid neighborhood aggregation schemes to enhance low-data entity representation, MetaTKGR dynamically adjusts the strategies of sampling and aggregating neighbors from recent facts for new entities, through temporally supervised signals on future facts as instant feedback. Besides, such a meta temporal reasoning procedure goes beyond existing meta-learning paradigms on static knowledge graphs that fail to handle temporal adaptation with large entity variance. We further provide a theoretical analysis and propose a temporal adaptation regularizer to stabilize the meta temporal reasoning over time. Empirically, extensive experiments on three real-world TKGs demonstrate the superiority of MetaTKGR over state-of-the-art baselines by a large margin.

研究动机与目标

• 解决新兴实体的现实问题：少样本时态知识图推理。
• 开发一个学习如何自适应地采样和聚合时态邻居的框架。
• 以基于 PAC-Bayes 的正则化器稳定时态自适应，从而提高随时间的泛化能力。

提出的方法

• 引入一个时序编码器，在最近时间窗口内最多采样 b 个多跳时态邻居，并用时间感知注意力聚合它们（方程式 3-4）。
• 将少样本时态 KG 推理表述为一个双层元学习问题（内层在支撑集上进行微调，外层在查询集上进行元优化）。
• 应用基于平移的得分 s(e, r, e', t) 进行预测（方程式 2）。
• 使用 MAML 风格的内/外更新（方程式 6-9）进行训练，并使用带铰链损失的负采样（方程式 5）。
• 引入基于 PAC-Bayes 的时态自适应正则化器（方程式 7-9），以在时间上强制稳定性。

实验结果

研究问题

• RQ1 如何在演化的时态知识图中仅通过少量观测到的连边有效推理新兴实体的未来事实？
• RQ2 一个元时态框架能否学习自适应采样和聚合策略，以适应新实体随时间演化的分布？
• RQ3 基于 PAC-Bayes 的时态自适应正则化器是否改善跨时间的一般化，以实现少样本时态 KG 推理？

主要发现

模型	YAGO MRR	YAGO H@1	YAGO H@10	WIKI MRR	WIKI H@1	WIKI H@10	ICEWS18 MRR	ICEWS18 H@1	ICEWS18 H@10
MetaTKGR	0.370*	0.303*	0.558*	0.329*	0.253*	0.489*	0.335*	0.249*	0.527*

• MetaTKGR 在三个真实世界的 TKG 的 3-shot 设置中，与强基线相比实现了最高 11.4% 的相对提升。
• 在 YAGO、WIKI 和 ICEWS18 上，MetaTKGR 始终优于静态/时态 KG 基线和其他少样本方法。
• 采用带采样邻居的时序编码和时间感知注意力，在低数据情形下比像 MetaDyGNN 这样的基线更好地处理多关系图。
• 时态自适应正则化器提高了随时间的泛化能力，减少对特定时间区间的过拟合。