[论文解读] Graph Meta Learning via Local Subgraphs

Kexin Huang, Marinka Žitnik|arXiv (Cornell University)|Jun 14, 2020

Advanced Graph Neural Networks参考文献 67被引用 11

一句话总结

G-Meta 提出了一种新颖的图元学习框架，通过使用局部子图实现对新任务的快速适应，尤其在标注节点或边较少的情况下。通过在子图级别学习可迁移的归纳偏置，G-Meta 在七个数据集上相比现有方法性能提升最高达16.3%，并可扩展至大规模图集合，包括一个包含1,840张图的新“生命之树”数据集。

ABSTRACT

Prevailing methods for graphs require abundant label and edge information for learning. When data for a new task are scarce, meta-learning can learn from prior experiences and form much-needed inductive biases for fast adaption to new tasks. Here, we introduce G-Meta, a novel meta-learning algorithm for graphs. G-Meta uses local subgraphs to transfer subgraph-specific information and learn transferable knowledge faster via meta gradients. G-Meta learns how to quickly adapt to a new task using only a handful of nodes or edges in the new task and does so by learning from data points in other graphs or related, albeit disjoint label sets. G-Meta is theoretically justified as we show that the evidence for a prediction can be found in the local subgraph surrounding the target node or edge. Experiments on seven datasets and nine baseline methods show that G-Meta outperforms existing methods by up to 16.3%. Unlike previous methods, G-Meta successfully learns in challenging, few-shot learning settings that require generalization to completely new graphs and never-before-seen labels. Finally, G-Meta scales to large graphs, which we demonstrate on a new Tree-of-Life dataset comprising of 1,840 graphs, a two-orders of magnitude increase in the number of graphs used in prior work.

研究动机与目标

• 解决少样本图学习中的挑战，即标注节点或边稀缺，尤其在生物网络等现实应用场景中。
• 克服现有基于GNN的元学习方法依赖完整图表示的局限，这些方法在新图或未见标签上难以泛化。
• 实现在标签集不同的不相交图之间进行元学习，支持对从未见过的任务和结构的泛化。
• 开发一种可扩展的方法，能够在大规模图数据集上高效运行，例如包含1,840张图的新“生命之树”数据集。
• 提供一种理论基础坚实的元学习方法，利用局部子图证据进行预测，从而提升归纳偏置和结构相似性学习能力。

提出的方法

• 通过目标节点或边周围的局部子图表示每个节点或边，捕捉细粒度的结构信息。
• 在这些局部子图上训练GNN，学习可迁移的表示，以通过元梯度实现快速适应。
• 使用度量学习算法比较子图之间的结构相似性，为少样本泛化形成强归纳偏置。
• 在局部子图内应用特征传播和标签平滑，以提升预测的鲁棒性和泛化能力。
• 设计一种在子图级别运行的元学习框架，支持在标签集不同的图之间实现知识迁移。
• 利用与Weisfeiler-Lehman图同构性测试的联系，确保子图表示对局部结构差异敏感。

实验结果

研究问题

• RQ1 局部子图能否作为图结构数据元学习的有效表示，尤其在少样本条件下？
• RQ2 与基于完整图的元学习相比，子图级别的元学习在泛化到新图和未见标签方面表现如何？
• RQ3 G-Meta能否有效实现跨不相交图的知识迁移，例如在PPI网络中从模式生物到人类的迁移？
• RQ4 G-Meta在大规模图数据集（如包含1,840张生物PPI图的集合）上的可扩展性如何？
• RQ5 与全局图表示相比，从局部子图学习是否能提升归纳偏置和预测性能？

主要发现

• G-Meta 在七个数据集上优于九种基线方法，节点分类任务中性能最高提升16.3%。
• G-Meta 成功泛化到新图和从未见过的标签，而现有方法在少样本设置下无法实现此能力。
• 该方法在大规模图集合上表现出良好可扩展性，已在包含1,840张图的新“生命之树”数据集上得到验证——比之前工作多两个数量级。
• 局部子图表示促进了更好的结构相似性学习，从而增强归纳偏置并提升少样本泛化能力。
• 理论分析证实，预测证据存在于目标节点或边周围的局部子图中，为基于子图的方法提供了理论依据。
• G-Meta 实现了有效的标签传播和局部邻域内的特征平滑，提升了模型的鲁棒性和准确性。