[论文解读] Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

Fan Zhou, Chengtai Cao+4 more|arXiv (Cornell University)|May 23, 2019

Advanced Graph Neural Networks参考文献 12被引用 34

一句话总结

Meta-GNN 将图神经网络与元学习结合，通过情节元训练学习可迁移的初始化实现少样本节点分类。它能在极少标记数据下快速适应新类别。

ABSTRACT

Meta-learning has received a tremendous recent attention as a possible approach for mimicking human intelligence, i.e., acquiring new knowledge and skills with little or even no demonstration. Most of the existing meta-learning methods are proposed to tackle few-shot learning problems such as image and text, in rather Euclidean domain. However, there are very few works applying meta-learning to non-Euclidean domains, and the recently proposed graph neural networks (GNNs) models do not perform effectively on graph few-shot learning problems. Towards this, we propose a novel graph meta-learning framework -- Meta-GNN -- to tackle the few-shot node classification problem in graph meta-learning settings. It obtains the prior knowledge of classifiers by training on many similar few-shot learning tasks and then classifies the nodes from new classes with only few labeled samples. Additionally, Meta-GNN is a general model that can be straightforwardly incorporated into any existing state-of-the-art GNN. Our experiments conducted on three benchmark datasets demonstrate that our proposed approach not only improves the node classification performance by a large margin on few-shot learning problems in meta-learning paradigm, but also learns a more general and flexible model for task adaption.

研究动机与目标

• 在元学习框架内阐明图上少样本节点分类的问题。
• 提出一个通用的图元学习框架，可以增强现有 GNN 以迅速适应新类别。
• 通过在许多相关任务上的元训练学习 GNN 的可迁移初始化。
• 在标准图数据集上展示相对于最先进基线的经验提升。

提出的方法

• 采用情景式元学习设置，使每个任务模拟图上的一个 K-shot、|C2|-way 的节点分类问题。
• 使用 MAML 风格的梯度更新来学习一个可通过少量梯度步骤进行自适应的参数初始化。
• 通过任务特定的微调，将元学习目标与标准 GNN（如 GCN 或 SGC）整合。
• 通过为每个任务选择一个子集的类别以及一个小型支持集和查询集来采样元训练任务。
• 通过在每个任务上进行一次或几次梯度更新后最小化损失来执行元训练，并在任务之间更新全局初始化。
• 在元测试阶段，在新任务的支持集上进行微调并在其查询集上进行评估。

实验结果

研究问题

• RQ1 元学习是否能使 GNNs 在仅有少量标记节点的情况下对未见过的类别实现快速适应？
• RQ2 基于图的少样本任务中，MAML 风格的初始化的迁移效果如何？
• RQ3 在少样本设置下，Meta-GNN 相较于传统 GNN 和基于嵌入的基线能带来哪些性能提升？

主要发现

• 在少样本设置下，Meta-GNN 在三个基准数据集（Cora、Citeseer、Reddit）上实现最佳性能。
• 基于GNN的基线被 Meta-GNN 超越，在1-shot和3-shot等少样本配置下有显著提升。
• 为少样本任务适应而非专门设计的归纳式GNN可能难以推广到新类别，而 Meta-GNN 学习了更具可迁移性的任务自适应表征。
• 由于更丰富的任务变异性促进更好的任务适应，Meta-GNN 在更难的数据集（Reddit）上显示出更大的相对提升。
• 在 Meta-GNN 变体中，Meta-SGC 和 Meta-GCN 具有相近的性能，存在一些数据集相关的差异，而 Meta-SGC 通常训练速度更快。