[论文解读] Generative Adversarial Residual Pairwise Networks for One Shot Learning

Akshay Mehrotra, Ambedkar Dukkipati|arXiv (Cornell University)|Mar 23, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用 79

一句话总结

简述：引入 Skip Residual Pairwise Networks (SRPN) 来学习可训练的相似性度量以用于一次学习，并使用 GANs 的 Generative Regularizer (GR) 来正则化相似性匹配；SRPN 在 mini-Imagenet 一次学习任务上达到最先进结果，SRPN 超越基线，GR 的效益在不同数据集与训练稳定性下有所波动。

ABSTRACT

Deep neural networks achieve unprecedented performance levels over many tasks and scale well with large quantities of data, but performance in the low-data regime and tasks like one shot learning still lags behind. While recent work suggests many hypotheses from better optimization to more complicated network structures, in this work we hypothesize that having a learnable and more expressive similarity objective is an essential missing component. Towards overcoming that, we propose a network design inspired by deep residual networks that allows the efficient computation of this more expressive pairwise similarity objective. Further, we argue that regularization is key in learning with small amounts of data, and propose an additional generator network based on the Generative Adversarial Networks where the discriminator is our residual pairwise network. This provides a strong regularizer by leveraging the generated data samples. The proposed model can generate plausible variations of exemplars over unseen classes and outperforms strong discriminative baselines for few shot classification tasks. Notably, our residual pairwise network design outperforms previous state-of-theart on the challenging mini-Imagenet dataset for one shot learning by getting over 55% accuracy for the 5-way classification task over unseen classes.

研究动机与目标

• 通过 Skip Residual Siamese Network (SRPN) 学习一个可训练、表达力强的相似性测度来改进一次学习。
• 在低数据条件下使用基于 GAN 的 Generative Regularizer (GR) 进行正则化，以条件化 unseen 类别。
• 在具有挑战性的一次学习基准（mini-Imagenet）上展示最先进的性能，并评估在 Omniglot 上的正则化效益。

提出的方法

• 提出 Skip Residual Pairwise Network (SRPN)，通过将一对图像输入分裂的残差通道来产生单一的相似性嵌入，并以二元交叉熵目标进行优化。
• 使成对网络端到端可训练，使距离度量能够与特征表示共同学习。
• 引入 Generative Regularizer (GR)，其判别器 D_phi 用于判断两个样本是否来自同一类别分布，生成器 G_theta 用于在条件图像上产生合理论变异以正则化相似性任务。
• 生成器作为一个受对抗损失引导的去噪自编码器，判别器训练以区分同类别对与不同类别对，并识别生成样本为假样本。
• 在 Omniglot 和 mini-Imagenet 的标准少样本协议下评估 SRPN 与 GR；使用 Adam 优化与 L2 正则化（GR 除外）。
• 在适用场景下，与 Pixel Distance、Nearest Neighbour、Matching Nets FCE、Meta-Learner LSTM、Conv ARC with L2 Reg、Prototypical Networks 等基线进行比较。

实验结果

研究问题

• RQ1 一个可训练的端到端学习相似性度量是否可以在固定度量之上提升一次/少量样本分类性能？
• RQ2 将基于 GAN 的生成式正则化引入是否有助于在低数据条件下对未见类别的泛化？
• RQ3 SRPN 架构如何影响收敛速度、参数效率和学习到的相似性对称性？
• RQ4 在标准的 1-shot/5-shot 设置下，SRPN 和 GR 在 Omniglot 与 mini-Imagenet 上的经验增益有多大？

主要发现

模型	1 次	5 次
Omniglot - 20 路 One-shot	SRPN 55.2	-
Pixel Distance [34]	26.7	-
Baseline w/ Nearest Neighbour [23]	41.1	-
Matching Nets FCE [34]	46.6	-
Meta-Learner LSTM [34]	43.4	-
Conv ARC w/ L2 Reg [29]	49.1	-
Prototypical Networks [30]	49.4	-
Baseline (Wide ResNet depth=40)	50.7	-
SRPN (Omniglot)	55.2	-
Mini-Imagenet - 1-shot 5-way	SRPN 55.2	69.6
Pixel Distance [34]	23.0	26.0
Baseline w/ Nearest Neighbour [23]	41.1	51.0
Matching Nets FCE [34]	46.6	60.0
Meta-Learner LSTM [23]	43.4	60.6
Conv ARC w/ L2 Reg [29]	49.1	-
Prototypical Networks [30]	49.4	68.2
Baseline Wide ResNet (depth=40)	50.7	66.0
SRPN	55.2	69.6

• SRPN 超越其残差 Siamese 基线，在 mini-Imagenet 的 5-way 一次学习任务上达到最先进性能。
• 在 Omniglot 上，GR 在 Siam-I 的一-样本设置相对于 L2 正则化提供改进，表明通过生成数据实现了有效正则化。
• SRPN 收敛更快，且平均权重比基线网络更小，表明通过调整距离度量而非固定距离实现了更好的泛化。
• 由于 GAN 训练不稳定，GR 在 mini-Imagenet 上呈现混合结果，但在较简单数据（Omniglot）上显现出比 L2 更强的正则化潜力。
• 基线深度模型（Wide ResNet）在 mini-Imagenet 已经获得较强的一次学习结果，SRPN 在此基础上通过深度合适的成对处理进一步改进。