[论文解读] On Leveraging Pretrained GANs for Limited-Data Generation

Miaoyun Zhao, Yulai Cong+1 more|arXiv (Cornell University)|Feb 26, 2020

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本文提出利用预训练 GAN 来提升小样本数据条件下的图像生成性能，通过从生成器和判别器网络中迁移低层滤波器。采用自适应滤波器调制（AdaFM）方法，提升性能与训练效率，在少样本生成任务中相比基线方法表现更优。

ABSTRACT

Recent work has shown GANs can generate highly realistic images that are indistinguishable by human. Of particular interest here is the empirical observation that most generated images are not contained in training datasets, indicating potential generalization with GANs. That generalizability makes it appealing to exploit GANs to help applications with limited available data, e.g., augment training data to alleviate overfitting. To better facilitate training a GAN on limited data, we propose to leverage already-available GAN models pretrained on large-scale datasets (like ImageNet) to introduce additional common knowledge (which may not exist within the limited data) following the transfer learning idea. Specifically, exampled by natural image generation tasks, we reveal the fact that low-level filters (those close to observations) of both the generator and discriminator of pretrained GANs can be transferred to help the target limited-data generation. For better adaption of the transferred filters to the target domain, we introduce a new technique named adaptive filter modulation (AdaFM), which provides boosted performance over baseline methods. Unifying the transferred filters and the introduced techniques, we present our method and conduct extensive experiments to demonstrate its training efficiency and better performance on limited-data generation.

研究动机与目标

• 解决在小样本数据集上训练 GAN 时过拟合常见的挑战。
• 探究预训练 GAN 是否能将可泛化的知识注入到小样本生成任务中。
• 研究预训练 GAN 中低层滤波器（靠近输入层）向新小规模数据集的可迁移性。
• 开发一种方法，使迁移后的滤波器能适应目标领域，同时保持其泛化能力。
• 在小样本图像生成基准上，展示训练效率与生成质量的提升。

提出的方法

• 将预训练 GAN（例如在 ImageNet 上训练的）的生成器和判别器中的低层滤波器，迁移至在小目标数据集上训练的新 GAN 中。
• 应用自适应滤波器调制（AdaFM）对迁移后的滤波器进行微调，以更好地适应目标领域的数据分布。
• 将迁移并调制后的滤波器作为目标 GAN 的早期层初始化，保留学习到的特征层次结构。
• 在初始化滤波器的基础上，端到端训练目标 GAN，利用大规模预训练模型提供的先验知识。
• 将 AdaFM 集成为一个可学习模块，根据输入统计信息动态调整滤波器响应，提升特征对齐效果。
• 将滤波器迁移与 AdaFM 统一到单一训练框架中，以提升收敛速度与生成质量。

实验结果

研究问题

• RQ1 来自预训练 GAN 的低层滤波器是否能泛化到新的小样本图像生成任务？
• RQ2 将大规模预训练 GAN 的滤波器迁移至小样本数据集，如何提升训练效率与性能？
• RQ3 自适应滤波器调制（AdaFM）在多大程度上增强了迁移滤波器对目标领域的适应能力？
• RQ4 所提出的方法是否在少样本图像生成中优于标准微调与随机初始化？
• RQ5 在低资源环境下，将预训练 GAN 作为知识源用于数据增强会产生何种影响？

主要发现

• 从预训练 GAN 迁移低层滤波器，显著提升了小样本基准上的生成质量。
• 采用 AdaFM 的方法在少样本图像生成任务中，相比基线方法，取得了更高的 Inception Score 与更低的 FID。
• 与随机初始化相比，使用迁移滤波器可实现更快的训练收敛速度。
• 该方法在不同自然图像数据集上均表现出良好泛化能力，且仅需极少标注样本。
• AdaFM 有效调制了迁移滤波器，实现更优的特征对齐并减少分布偏移。
• 即使每类仅有 100 张训练图像，该方法仍表现出强大性能，表明对数据稀缺具有高度鲁棒性。