[论文解读] Graph Few-shot Learning via Knowledge Transfer

Huaxiu Yao, Chuxu Zhang+6 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 35被引用 5

一句话总结

本文提出图少样本学习（GFL），一种新颖的框架，通过从辅助图迁移结构知识，以提升低少样本目标图上的半监督节点分类性能。通过共享节点和原型嵌入函数学习可迁移的度量空间，GFL 利用关系结构和图级表征，显著提升了性能，在四个真实世界数据集上实现了最先进结果，尤其在少样本设置下表现突出。

ABSTRACT

Towards the challenging problem of semi-supervised node classification, there have been extensive studies. As a frontier, Graph Neural Networks (GNNs) have aroused great interest recently, which update the representation of each node by aggregating information of its neighbors. However, most GNNs have shallow layers with a limited receptive field and may not achieve satisfactory performance especially when the number of labeled nodes is quite small. To address this challenge, we innovatively propose a graph few-shot learning (GFL) algorithm that incorporates prior knowledge learned from auxiliary graphs to improve classification accuracy on the target graph. Specifically, a transferable metric space characterized by a node embedding and a graph-specific prototype embedding function is shared between auxiliary graphs and the target, facilitating the transfer of structural knowledge. Extensive experiments and ablation studies on four real-world graph datasets demonstrate the effectiveness of our proposed model.

研究动机与目标

• 解决在标注节点极度稀缺时的半监督节点分类挑战。
• 通过利用拓扑结构和类别相关特征的结构相似性，实现在图之间的知识迁移。
• 开发一种基于度量的少样本学习框架，以同时迁移节点级和图级表征。
• 通过建模类别内部的关系结构，提升低数据场景下的泛化能力和鲁棒性。
• 通过实证验证可迁移度量空间在图表示学习中的有效性。

提出的方法

• GFL 使用带有 GNN 的图自编码器，从目标图中学习节点表征。
• 它在同类别节点之间构建关系结构，并使用原型 GNN 从该结构中学习类别原型。
• 通过在辅助图和目标图之间共享节点和原型嵌入函数，实现结构知识的迁移。
• 采用分层图表示门控机制，基于图的全局结构相似性对齐不同图之间的度量空间。
• 该框架采用可迁移的度量空间，节点分类通过在嵌入空间中匹配到最近原型完成。
• 评估了内积和余弦距离等距离函数在度量学习过程中的鲁棒性。

实验结果

研究问题

• RQ1 从辅助图迁移知识是否能提升低少样本设置下的节点分类性能？
• RQ2 在少样本图学习中，同时迁移节点级和图级结构知识的效果如何？
• RQ3 不同的相似度函数对原型关系结构构建有何影响？
• RQ4 模型对超参数（如关系结构构建中的阈值 μ）的敏感性如何？
• RQ5 距离函数的选择是否会影响度量空间中的最终分类准确率？

主要发现

• GFL 在四个真实世界图数据集上达到最先进性能，在 5 类 1 样本设置下，Citation 数据集的最高准确率达到 96.51%。
• 在所有样本设置下，模型均优于 Protonet 和 MAML，即使支持集规模较小，也表现出强鲁棒性。
• 使用 Top-k 共同邻居作为相似度函数时准确率最高（Citation 数据集达 96.51%），优于 Jaccard、Adamic-Adar 和 PageRank。
• 关系结构构建中的阈值 μ 具有显著影响，最优值因数据集而异，表明对数据分布敏感。
• 模型对距离函数的选择不甚敏感，内积与余弦距离结果相近（如 Collaboration 数据集上分别为 83.79% 和 84.02%）。
• t-SNE 可视化结果表明，GFL 学习到的表征更具判别性，能更清晰地区分正负样本，优于 Protonet。