[论文解读] Semi-Supervised Few-Shot Learning with Prototypical Random Walks

Ahmed Ayyad, Li, Yuchen+3 more|arXiv (Cornell University)|Mar 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 5

一句话总结

该论文提出原型随机游走网络（PRWN），一种半监督少样本学习方法，通过引入一种全局、基于图的随机游走损失，将未标记数据点吸引至其类别原型，从而增强原型网络。该方法实现了最先进性能，在1-shot mini-ImageNet上准确率达到50.89%，优于全监督原型网络的49.4%，并展现出对未标记数据中干扰类别的鲁棒性。

ABSTRACT

Recent progress has shown that few-shot learning can be improved with access to unlabelled data, known as semi-supervised few-shot learning(SS-FSL). We introduce an SS-FSL approach, dubbed as Prototypical Random Walk Networks(PRWN), built on top of Prototypical Networks (PN). We develop a random walk semi-supervised loss that enables the network to learn representations that are compact and well-separated. Our work is related to the very recent development of graph-based approaches for few-shot learning. However, we show that compact and well-separated class representations can be achieved by modeling our prototypical random walk notion without needing additional graph-NN parameters or requiring a transductive setting where a collective test set is provided. Our model outperforms baselines in most benchmarks with significant improvements in some cases. Our model, trained with 40$\%$ of the data as labeled, compares competitively against fully supervised prototypical networks, trained on 100$\%$ of the labels, even outperforming it in the 1-shot mini-Imagenet case with 50.89$\%$ to 49.4$\%$ accuracy. We also show that our loss is resistant to distractors, unlabeled data that does not belong to any of the training classes, and hence reflecting robustness to labeled/unlabeled class distribution mismatch. Associated GitHub page can be found at https://prototypical-random-walk.github.io.

研究动机与目标

• 通过引入一种新颖的半监督训练信号，利用未标记数据提升少样本学习性能。
• 通过引入一种全局一致性损失，解决少样本学习中标注数据稀缺的问题，增强表示的可分性。
• 开发一种对分布不匹配（如未标记数据中的干扰类）具有鲁棒性的方法。
• 超越现有半监督少样本学习基线方法，包括使用对抗性或图-based损失的方法。
• 证明通过随机游走实现的全局一致性优于少样本设置下的局部一致性损失（如VAT）

提出的方法

• 该方法基于原型网络（PN），并引入一种基于随机游走的半监督损失，通过未标记嵌入最大化从同一类别原型出发并结束于同一原型的游走概率。
• 在每个任务中，构建所有原型与未标记点之间的相似性图，使模型能够学习全局流形结构。
• 随机游走损失强制实现“原型磁化”：同一类别的点被拉向其原型，同时被排斥远离其他原型。
• 损失函数通过源自对称归一化图拉普拉斯矩阵的转移概率计算，确保游走动态稳定且可微。
• 推理阶段引入一种简单过滤机制，利用游走成功概率剔除干扰点，提升鲁棒性。
• 采用元学习进行端到端训练，采用任务式训练范式，每个任务包含用于适应的支持集和用于评估的查询集。

实验结果

研究问题

• RQ1 全局、基于图的一致性信号是否能超越局部一致性损失（如VAT）在少样本表示学习中的表现？
• RQ2 原型随机游走损失如何提升模型对未标记数据中干扰点的鲁棒性？
• RQ3 仅使用40%标注数据训练的半监督少样本模型是否能超越使用100%标注数据训练的全监督模型？
• RQ4 随机游走动态在多大程度上能自然排斥与原型无关（干扰）的点？
• RQ5 基于游走成功概率的简单过滤步骤是否能提升存在干扰点时的半监督推理性能？

主要发现

• PRWN在1-shot mini-ImageNet上达到50.89%的top-1准确率，超越全监督原型网络（49.4%），创下新SOTA记录。
• 在5-shot mini-ImageNet上，PRWN达到68.77%的准确率，优于先前方法，包括Meta-GAN和PN+Soft K-Means。
• 在干扰条件下，模型保持强性能，干净点访问概率达0.81，显著高于PN（0.67）和PN+all（0.76）。
• 通过在游走成功概率上应用简单的中值过滤，PRWN显著提升半监督推理性能，在Omniglot上达到99.04%准确率，在5-shot Tiered-ImageNet上达到69.74%。
• 原型随机游走损失同时提供吸引与排斥力：将相关点拉向原型，同时避免干扰点，且无需额外图神经网络参数。
• PRWN在所有基准测试中均优于基于VAT的PN，证明通过随机游走实现的全局一致性在少样本半监督学习中优于局部一致性。