[论文解读] Meta-Graph: Few Shot Link Prediction via Meta Learning

Avishek Joey Bose, Ankit Kumar Jain+2 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Graph Neural Networks参考文献 41被引用 30

一句话总结

Meta-Graph 提出了一种基于梯度的元学习框架，用于在多个稀疏图中进行少样本链接预测，通过可学习的图签名来调节图神经网络（GNN）的初始化。该方法通过实现快速适应和更优的收敛性，在仅使用少量训练边的情况下，相比基线模型平均提升了5.3%的AUC性能。

ABSTRACT

We consider the task of few shot link prediction on graphs. The goal is to learn from a distribution over graphs so that a model is able to quickly infer missing edges in a new graph after a small amount of training. We show that current link prediction methods are generally ill-equipped to handle this task. They cannot effectively transfer learned knowledge from one graph to another and are unable to effectively learn from sparse samples of edges. To address this challenge, we introduce a new gradient-based meta learning framework, Meta-Graph. Our framework leverages higher-order gradients along with a learned graph signature function that conditionally generates a graph neural network initialization. Using a novel set of few shot link prediction benchmarks, we show that Meta-Graph can learn to quickly adapt to a new graph using only a small sample of true edges, enabling not only fast adaptation but also improved results at convergence.

研究动机与目标

• 解决在每个图中仅包含极少数真实边的多图设置下的链接预测挑战。
• 通过在相关图之间迁移知识，实现在低数据场景下的快速适应与更好的收敛性。
• 开发一种可在同一领域内多样化、稀疏图上泛化的元学习框架。
• 引入一种图签名函数，基于图结构对GNN初始化进行条件调节。
• 建立一个基于真实世界启发图分布的少样本链接预测基准。

提出的方法

• 将基于梯度的元学习（MAML风格）适配到图领域，学习在图分布上共享的GNN初始化。
• 引入一种可学习的图签名函数，用于编码每个输入图的结构特性，以调节GNN初始化。
• 使用高阶梯度优化全局初始化，使得在新稀疏图上可实现快速适应。
• 在图分布上端到端训练模型，每个任务涉及在稀疏图中预测缺失边。
• 采用基于GNN的链接预测器，在每个新图上仅使用少量正样本边进行微调。
• 利用一个新颖的基准套件，包含来自不同领域的多个稀疏图，以评估少样本性能。

实验结果

研究问题

• RQ1 当每个图中仅提供少量真实边时，元学习能否提升链接预测性能？
• RQ2 基于图结构的共享GNN初始化能否实现对新稀疏图的更快、更准确的适应？
• RQ3 在稀疏图上，Meta-Graph与标准GNN及非元学习基线相比，在收敛速度和最终性能方面表现如何？
• RQ4 图签名函数是否能有效捕捉图之间的结构差异，从而提升适应能力？
• RQ5 该框架能否在来自同一领域的多样化图类型（如生物网络或社交网络）之间实现良好泛化？

主要发现

• 在三个基准上，Meta-Graph在收敛时相比非元学习基线平均提升了5.3%的AUC。
• 该模型在新稀疏图上表现出快速适应能力，仅需少量正样本边即可实现有效微调。
• 图签名函数通过实现图特定初始化，显著提升了性能，优于固定或随机初始化策略。
• Meta-Graph在来自同一领域的多样化图类型（如蛋白质-蛋白质相互作用网络和引用图）之间表现出良好泛化能力。
• 该框架在收敛速度和最终准确率方面均优于强基线模型，尤其在低数据场景下优势明显。
• 实证结果证实，使用高阶梯度的元学习能有效提升少样本链接预测任务中的泛化能力。