[论文解读] FIGR: Few-shot Image Generation with Reptile

Louis Clouâtre, Marc Demers|arXiv (Cornell University)|Jan 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 60

一句话总结

FIGR 使用 Reptile 对 GAN 进行元训练，使在仅有很少样本的情况下就能进行少样本图像生成，最少为 4 个样本，覆盖 MNIST 与 Omniglot，并引入 FIGR-8，一个大型的少样本基准数据集。

ABSTRACT

Generative Adversarial Networks (GAN) boast impressive capacity to generate realistic images. However, like much of the field of deep learning, they require an inordinate amount of data to produce results, thereby limiting their usefulness in generating novelty. In the same vein, recent advances in meta-learning have opened the door to many few-shot learning applications. In the present work, we propose Few-shot Image Generation using Reptile (FIGR), a GAN meta-trained with Reptile. Our model successfully generates novel images on both MNIST and Omniglot with as little as 4 images from an unseen class. We further contribute FIGR-8, a new dataset for few-shot image generation, which contains 1,548,944 icons categorized in over 18,409 classes. Trained on FIGR-8, initial results show that our model can generalize to more advanced concepts (such as "bird" and "knife") from as few as 8 samples from a previously unseen class of images and as little as 10 training steps through those 8 images. This work demonstrates the potential of training a GAN for few-shot image generation and aims to set a new benchmark for future work in the domain.

研究动机与目标

• 定义少样本图像生成的问题，并为 GAN 的元学习提供动机。
• 提出 FIGR，一种使用 Reptile 的 GAN 元训练框架，以在最少数据下适应未见类别。
• 引入 FIGR-8，一个用于基准少样本图像生成的大规模数据集。
• 证明 FIGR 能在极少量支持集（仅 4 个样本）下从未见类别生成新图像。

提出的方法

• 在 GAN 训练中使用 Wasserstein 损失及梯度惩罚。
• 使用 Reptile 算法对生成器和判别器进行元训练，针对任务特定数据进行内部 SGD 更新。
• 采用外环更新，通过 W_tau 将初始权重朝向任务自适应权重（Phi_d, Phi_g），实现快速适应。
• 对给定任务应用包含 K 个梯度步的内循环，使用该任务类别的 n 个样本。
• 元训练后，通过对新类别进行少量迭代，进一步更新生成器/判别器以进行少样本生成。
• 在 MNIST、Omniglot 和 FIGR-8 数据集上进行实验，以评估未见类别的生成。

实验结果

研究问题

• RQ1 是否可以通过元学习训练一个 GAN，在仅有少量示例的情况下从未见类别生成图像？
• RQ2 基于 Reptile 的元训练如何实现对 GAN 的快速适应，以进行少样本图像生成？
• RQ3 FIGR 在标准少样本基准（MNIST、Omniglot）及大型 FIGR-8 数据集上的表现如何？
• RQ4 该方法是否可用于灰度图像，且无需外部内存或长时间推理？

主要发现

• FIGR 可以用极少的 4 个样本从未见的 MNIST 数字生成图像。
• 在 Omniglot 上，FIGR 展示出快速适应性和在小支持集下的合理生成质量。
• FIGR-8 包含 1,548,944 张图像，覆盖 18,409 个类，为少样本生成提供具有挑战性的基准。
• 在 FIGR-8 上的初步结果表明，模型可以从 8 个样本和 10 次训练步骤中学习如鸟形等概念。
• 该方法不需要外部内存或长时间的序列推理，且使用带有 Reptile 元训练的 GAN 框架。
• 使用 Wasserstein 损失和梯度惩罚的训练在各数据集上表现稳定。