[论文解读] Few-Shot Learning on Graphs via Super-Classes based on Graph Spectral Measures

Jatin Chauhan, Deepak Nathani+1 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Graph Neural Networks被引用 26

一句话总结

本文提出了一种新颖的少样本图分类方法，通过利用图谱测度与Wasserstein距离，将基础类别标签聚类为超类别，构建超图以增强关系归纳偏置。该方法通过使用双头分类器（超类别与图注意力）训练GNN，实现了在20-shot设置下，TRIANGLES数据集上准确率较无监督基线提升高达20%的泛化性能提升。

ABSTRACT

We propose to study the problem of few shot graph classification in graph neural networks (GNNs) to recognize unseen classes, given limited labeled graph examples. Despite several interesting GNN variants being proposed recently for node and graph classification tasks, when faced with scarce labeled examples in the few shot setting, these GNNs exhibit significant loss in classification performance. Here, we present an approach where a probability measure is assigned to each graph based on the spectrum of the graphs normalized Laplacian. This enables us to accordingly cluster the graph base labels associated with each graph into super classes, where the Lp Wasserstein distance serves as our underlying distance metric. Subsequently, a super graph constructed based on the super classes is then fed to our proposed GNN framework which exploits the latent inter class relationships made explicit by the super graph to achieve better class label separation among the graphs. We conduct exhaustive empirical evaluations of our proposed method and show that it outperforms both the adaptation of state of the art graph classification methods to few shot scenario and our naive baseline GNNs. Additionally, we also extend and study the behavior of our method to semi supervised and active learning scenarios.

研究动机与目标

• 解决在少样本学习场景下，仅能获得每个新类别少量标注样本时，图神经网络（GNNs）泛化性能较低的挑战。
• 克服标准GNN在少样本场景下的局限性，即为扩大感受野而增加深度会导致过平滑，从而引起性能下降。
• 通过基于谱相似性的超图构建，挖掘图数据中的潜在类别间关系，以提升样本效率与组合泛化能力。
• 提出一种新框架，结合图谱测度、Wasserstein中位数与超类别聚类，以增强图分类任务在少样本学习中的性能。

提出的方法

• 利用图的归一化拉普拉斯矩阵的谱，为每张图分配一个图谱测度，从而在图比较中建立度量空间。
• 在谱测度空间中，以$L^p$ Wasserstein距离作为底层度量，计算每个基础类别的Wasserstein中位数（原型图）。
• 使用Wasserstein距离将同一基础类别的图谱测度聚类为超类别，形成超类别结构。
• 构建一个超图，其中节点代表超类别，边基于超类别空间中的$k$-近邻关系形成，从而实现在语义相似类别间的消息传递。
• 训练一个带有双头分类器的GNN：一个超类别头（MLP）和一个图注意力网络（GAT）头用于最终类别预测，采用联合交叉熵损失。
• 应用基于初始化的微调策略，在微调过程中冻结GIN特征提取器与超类别头，仅更新GAT头，使用少量新类别样本。

实验结果

研究问题

• RQ1 能否利用图的归一化拉普拉斯矩阵导出的谱测度，作为有效表示，在少样本图学习中将基础类别标签聚类为有意义的超类别？
• RQ2 基于谱测度之间Wasserstein距离构建的超图，是否相比标准GNN，在少样本图分类中能提升泛化性能？
• RQ3 在低数据场景下，同时引入超类别预测头与基于GAT的最终分类器，对性能有何影响？
• RQ4 在少样本设置中，为平衡信息流动与避免过拟合，超类别的最优数量与$k$值分别是多少？

主要发现

• 在TRIANGLES数据集的20-shot设置下，所提方法达到80.14%的准确率，相比深度学习基线提升7%，相比无监督基线提升20%。
• 该方法在多个数据集上均表现出一致的性能增益：Letter-High（20-shot下有-SC较无-SC提升2.19%）、Reddit-12K（+2.17%）和ENZYMES（+0.31%）的20-shot设置下。
• 大多数数据集的性能在3个超类别时达到峰值，进一步增加会导致稀疏性与信息不足，尤其在Letter-High与TRIANGLES上表现明显。
• 每个超类别使用2-NN图结构时性能最佳，更高的$k$值会引入噪声连接并降低性能，尤其在Reddit-12K与ENZYMES上更为显著。
• 消融实验确认，超类别头（$C^{sup}$）至关重要，移除后性能显著下降（例如，在Letter-High的10-shot设置下，准确率从73.61%降至71.13%）。
• 该方法在半监督与主动学习设置中也表现出良好的泛化能力，表明其在少样本学习之外的低数据场景中具有鲁棒性与适应性。