[论文解读] Few-Shot Learning with Graph Neural Networks

Víctor García, Joan Bruna|arXiv (Cornell University)|Nov 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用 437

一句话总结

本文将少样本学习视为在由图像集合构建的全连接图上的有监督插值，并使用具有学习边特征的图神经网络来传播标签信息。

ABSTRACT

We propose to study the problem of few-shot learning with the prism of inference on a partially observed graphical model, constructed from a collection of input images whose label can be either observed or not. By assimilating generic message-passing inference algorithms with their neural-network counterparts, we define a graph neural network architecture that generalizes several of the recently proposed few-shot learning models. Besides providing improved numerical performance, our framework is easily extended to variants of few-shot learning, such as semi-supervised or active learning, demonstrating the ability of graph-based models to operate well on 'relational' tasks.

研究动机与目标

• 将少样本学习动机化为从输入图像构建的部分观测图模型中的推理。
• 提出一个图神经网络（GNN）框架，学习在一组带标签和未标签的图像之间传播标签信息。
• 证明GNN在Omniglot和Mini-Imagenet上达到或接近最先进方法，同时参数更少。
• 展示将该框架扩展到半监督和主动学习场景。

提出的方法

• 将图像集合表示为一个全连接图，其中节点是图像，边通过一个可训练的相似性核学习得到。
• 使用一个执行消息传递的层的图神经网络，结合节点特征和学习到的边特征（Eq. 2 和 Eq. 3–4）。
• 通过用CNN嵌入图像并将已知标签拼接成独热向量来初始化节点特征；未标记的节点对类别标签使用均匀先验。
• 端到端训练以通过最终节点表示上的softmax来预测查询节点的标签。
• 通过包含带均匀标签先验的未标记节点，将框架扩展到半监督学习，并通过学习要查询的未标记节点（对未标记节点的Softmax注意力）扩展到主动学习。
• 将该模型与Siamese、Prototypical、Matching Networks等作为基于图的消息传递的特例联系起来。

实验结果

研究问题

• RQ1 是否可以将少样本学习有效地框定为在具有可学习边特征的图上进行推理，并端到端地训练为GNN？
• RQ2 GNN方法在标准少样本基准测试上是否以比以往方法更少的参数实现有竞争力的准确率？
• RQ3 模型是否可以在不对训练目标作出根本修改的情况下，自然扩展到半监督和主动学习设置？
• RQ4 学习到的边特征邻接学习在传播标签信息方面与固定相似性度量相比有何差异？
• RQ5 在密集的全连接图中进行图基消息传递的深度对少样本任务的性能有什么影响？

主要发现

• GNN方法在Omniglot和Mini-Imagenet上实现了与若干state-of-the-art方法相竞争甚至超越的精度，同时参数显著更少。
• 该模型在一个基于图的框架中统一了少样本、半监督和主动学习。
• 半监督实验表明未标记数据可以显著提升性能，有时与较少标注样本的高标注设置相当。
• 主动学习实验表明学习到的查询策略在Mini-Imagenet和Omniglot上能优于随机标注，从而提升准确率。
• 该架构将若干现有少样本模型（Siamese、Prototypical、Matching Networks）作为基于图的消息传递的特例。
• 该方法端到端可训练，并且对输入集合具有置换不变性。