[论文解读] Edge-labeling Graph Neural Network for Few-shot Learning

Jongmin Kim, Taesup Kim+2 more|arXiv (Cornell University)|May 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用 31

一句话总结

本文提出边缘标签图神经网络（EGNN），一种新颖的 few-shot 学习框架，通过迭代更新边缘标签而非节点标签，显式建模类内相似性和类间差异性。EGNN 在监督和半监督 few-shot 图像分类基准上均优于现有 GNN 模型，无需微调即可在不同类别数量下实现泛化，并通过带有边缘标签损失的元训练实现鲁棒的归纳推理。

ABSTRACT

In this paper, we propose a novel edge-labeling graph neural network (EGNN), which adapts a deep neural network on the edge-labeling graph, for few-shot learning. The previous graph neural network (GNN) approaches in few-shot learning have been based on the node-labeling framework, which implicitly models the intra-cluster similarity and the inter-cluster dissimilarity. In contrast, the proposed EGNN learns to predict the edge-labels rather than the node-labels on the graph that enables the evolution of an explicit clustering by iteratively updating the edge-labels with direct exploitation of both intra-cluster similarity and the inter-cluster dissimilarity. It is also well suited for performing on various numbers of classes without retraining, and can be easily extended to perform a transductive inference. The parameters of the EGNN are learned by episodic training with an edge-labeling loss to obtain a well-generalizable model for unseen low-data problem. On both of the supervised and semi-supervised few-shot image classification tasks with two benchmark datasets, the proposed EGNN significantly improves the performances over the existing GNNs.

研究动机与目标

• 为解决节点标签 GNN 在 few-shot 学习中的局限性，即隐式建模相似性和差异性，且在不同类别数量下需重新训练。
• 开发一种框架，显式学习边缘标签以指示两个节点是否属于同一类别，从而直接利用类内和类间关系。
• 在无需重新训练的情况下实现对不同 few-shot 类别数量（如 5-way 与 10-way）的泛化，提升模型灵活性。
• 在统一框架中支持归纳推理与非归纳推理，通过有限标注数据提升鲁棒性。
• 通过带有边缘标签损失的元训练，在 few-shot 图像分类任务中实现卓越性能。

提出的方法

• EGNN 采用双模块架构，在多层中交替执行节点更新块与边缘更新块，每个模块均具有可学习参数。
• 节点特征通过邻居消息传递进行更新，而边缘特征则显式更新以预测相连节点是否属于同一类别（即边缘标签）。
• 边缘标签初始化为 0.5（表示不确定性），并在网络各层中演化以反映真实标签的相似性，最终预测由最后一层的边缘特征得出。
• 模型通过元训练进行训练，每个元训练周期模拟一个 few-shot 任务，包含支持集与查询集，使用边缘标签损失优化参数。
• 通过同时处理所有查询样本，该框架天然支持归纳推理，提升预测一致性。
• 由于边缘标签建模范式，该方法可扩展至不同类别数量（如 5-way、10-way），无需架构修改或重新训练。

实验结果

研究问题

• RQ1 在 GNN 框架中显式建模边缘标签是否能提升 few-shot 分类性能，相比传统节点标签 GNN？
• RQ2 EGNN 框架是否能在不重新训练的情况下实现对不同类别数量（如 5-way 与 10-way）的泛化？
• RQ3 迭代更新边缘标签的过程相比仅通过节点特征传播，如何增强聚类与查询预测？
• RQ4 EGNN 是否能在标注数据有限的 few-shot 任务中实现鲁棒的归纳推理？
• RQ5 边缘标签损失如何促进低数据场景下的度量学习与泛化？

主要发现

• 在 5-way 5-shot miniImageNet 基准上，EGNN 达到 76.37% 的准确率，显著优于先前 GNN 模型（66.41%）和原型网络（65.77%）。
• 在跨方式 few-shot 设置中，EGNN 保持强大性能：10-way 5-shot 为 76.27%，5-way 10-shot 为 56.35%，表明其在类别数量变化下具有鲁棒泛化能力。
• t-SNE 可视化显示，模型表现出更优的聚类行为：同一类别的查询与支持样本在各层中被拉近，而不同类别则被推远。
• EGNN 中的边缘特征传播从初始均匀值（0.5）演化为匹配真实边缘标签，表明其有效学习了相似性关系。
• EGNN 实现了比节点标签 GNN 更鲁棒的归纳推理，尤其在标注样本稀少时表现更优。
• 边缘标签框架使模型无需重新训练即可处理任意数量的类别，而节点标签 GNN 则需根据类别数量重新配置模型。