[论文解读] Fast Adaptation in Generative Models with Generative Matching Networks

Sergey Bartunov, Dmitry Vetrov|arXiv (Cornell University)|Dec 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 12

一句话总结

本文提出生成匹配网络（GMNs），一种条件生成模型，通过借鉴匹配网络的注意力匹配机制，利用少样本条件数据实现对新概念的快速适应。GMNs 在 Omniglot 数据集上的少样本生成与少样本分类任务中均优于当前最先进模型，使用均匀注意力时在 1-shot 分类任务中达到 90.8% 的准确率，并通过伪输入显著提升了生成样本的质量。

ABSTRACT

Despite recent advances, the remaining bottlenecks in deep generative models are necessity of extensive training and difficulties with generalization from small number of training examples. We develop a new generative model called Generative Matching Network which is inspired by the recently proposed matching networks for one-shot learning in discriminative tasks. By conditioning on the additional input dataset, our model can instantly learn new concepts that were not available in the training data but conform to a similar generative process. The proposed framework does not explicitly restrict diversity of the conditioning data and also does not require an extensive inference procedure for training or adaptation. Our experiments on the Omniglot dataset demonstrate that Generative Matching Networks significantly improve predictive performance on the fly as more additional data is available and outperform existing state of the art conditional generative models.

研究动机与目标

• 解决深度生成模型在无重训练情况下难以适应新数据的问题，尤其是在低数据场景下。
• 克服高容量模型在少量样本学习时出现的灾难性干扰与过拟合问题。
• 通过基于相似领域的小型多样化数据集进行条件建模，实现代数分布的即时适应。
• 将匹配网络（最初用于判别式少样本学习）的适用范围扩展至无监督与条件生成建模。
• 开发一种可扩展的非参数推理机制，在无需显式架构重训练的情况下，对未见概念实现良好泛化。

提出的方法

• 提出一种条件生成模型 GMN，通过在小规模支持样本 $ \textbf{X} $ 上进行条件处理，定义生成分布 $ p(\textbf{x}|\textbf{X}, \boldsymbol{\theta}) $，其中 $ \textbf{X} $ 用于计算潜在表征上的注意力权重。
• 将匹配网络中的注意力机制适配至无监督生成建模，使模型能够动态插值条件集中相似样本。
• 引入伪输入作为可学习嵌入，以稳定潜在空间并提升样本质量，而无需显式类别标签。
• 采用变分推断与摊销推理进行训练，其中识别模型 $ q(\textbf{z}|\textbf{x}, \boldsymbol{\theta}) $ 在所有样本间共享，实现高效扩展。
• 实现一种非参数匹配过程，基于输入与支持集样本之间的相似性计算注意力权重，实现无需重训练的快速适应。
• 通过同一框架实现密度估计与样本生成，并支持在新增数据时实时更新生成分布。

实验结果

研究问题

• RQ1 能否仅通过少量样本在不进行完整重训练的情况下，实现生成模型对新概念的即时适应？
• RQ2 注意力机制在无监督生成建模中是否能有效实现快速适应？
• RQ3 伪输入的引入是否能提升少样本生成中的样本质量与泛化能力？
• RQ4 GMNs 是否能在生成质量与少样本分类准确率两方面均超越现有条件生成模型？
• RQ5 当条件数据多样且非均匀时，模型对混合或模糊概念的鲁棒性如何？

主要发现

• 在使用 1-shot 支持集时，GMNs 在 Omniglot 上的少样本分类准确率达到 90.8%，使用均匀注意力，优于如 Neural Statistician 和 One-shot VAE 等模型。
• 引入伪输入的模型生成的样本在视觉上更逼真，且更接近条件数据，尽管这会略微降低预测性能。
• 不使用伪输入的 GMNs 在密度估计上更平滑，对分布外样本的泛化能力更强，表明样本质量与泛化能力之间存在权衡。
• 非参数匹配机制即使在条件数据包含混合类别时也能实现有效适应，在 $ C_{\text{test}} = 2 $ 设置下显著优于基线模型。
• 模型展现出快速、增量式学习能力：随着更多条件样本的加入，预测性能逐步提升，无需重训练。
• 注意力机制能有效捕捉潜在类别结构，并对条件集中多样且不相似的数据具有鲁棒性。