[论文解读] MineGAN: effective knowledge transfer from GANs to target domains with few images

Yaxing Wang, Abel González-García+4 more|arXiv (Cornell University)|Dec 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 7

一句话总结

MineGAN 提出了一种用于生成模型的新型知识迁移方法，通过轻量级挖掘网络识别并引导预训练 GAN 的潜在空间，使其聚焦于与目标域最相似的区域，仅需少量图像即可实现。通过在微调前挖掘相关潜在区域，MineGAN 减少了过拟合和模式崩溃，在无条件、条件及多 GAN 设置下，FID 和 KMMD 指标均优于现有方法。

ABSTRACT

One of the attractive characteristics of deep neural networks is their ability to transfer knowledge obtained in one domain to other related domains. As a result, high-quality networks can be trained in domains with relatively little training data. This property has been extensively studied for discriminative networks but has received significantly less attention for generative models. Given the often enormous effort required to train GANs, both computationally as well as in the dataset collection, the re-use of pretrained GANs is a desirable objective. We propose a novel knowledge transfer method for generative models based on mining the knowledge that is most beneficial to a specific target domain, either from a single or multiple pretrained GANs. This is done using a miner network that identifies which part of the generative distribution of each pretrained GAN outputs samples closest to the target domain. Mining effectively steers GAN sampling towards suitable regions of the latent space, which facilitates the posterior finetuning and avoids pathologies of other methods such as mode collapse and lack of flexibility. We perform experiments on several complex datasets using various GAN architectures (BigGAN, Progressive GAN) and show that the proposed method, called MineGAN, effectively transfers knowledge to domains with few target images, outperforming existing methods. In addition, MineGAN can successfully transfer knowledge from multiple pretrained GANs. Our code is available at: https://github.com/yaxingwang/MineGAN.

研究动机与目标

• 解决将预训练 GAN 的知识迁移到仅包含少量图像的目标域的挑战，现有方法在该场景下易出现模式崩溃和过拟合问题。
• 克服先前微调方法的局限性，这些方法更新生成器的所有参数，导致在小目标数据集上不稳定且泛化能力差。
• 不仅实现从单一预训练 GAN 的有效知识迁移，还支持从多个 GAN 联合迁移，整合互补信息以提升生成效果。
• 开发一种方法，在保留全微调灵活性的同时，通过有针对性的数据驱动潜在空间采样减少过拟合。
• 设计一种前馈式推理流程，显著快于迭代方法，适用于实际部署。

提出的方法

• 引入一个轻量级挖掘网络，将标准正态分布映射到预训练 GAN 的输入空间分布，使得生成样本与目标域最接近。
• 使用选择性反向传播过程训练挖掘网络，仅利用目标分布的少量真实图像，优化潜在空间中与目标域的接近度。
• 利用挖掘网络引导从预训练 GAN 潜在空间的采样，聚焦于在统计和语义上与目标域最接近的区域。
• 仅使用挖掘出的潜在码对生成器进行后验微调，从而降低训练信号方差，缓解模式崩溃。
• 通过学习将多个预训练 GAN 的输出通过挖掘网络进行组合，将方法扩展至多 GAN 场景，实现在多样化源分布间的知识聚合。
• 通过避免生成过程中的迭代优化，确保推理为前馈且高效，优于如 DGN-AM 或 PPGN 等方法。

实验结果

研究问题

• RQ1 轻量级挖掘网络能否有效识别并引导预训练 GAN，仅用少量真实图像即生成目标域图像？
• RQ2 在微调前挖掘最相关的潜在空间区域，是否能相比标准微调提升生成质量并减少过拟合？
• RQ3 MineGAN 是否能成功实现从多个预训练 GAN 向单一目标域的知识迁移？与单 GAN 迁移相比性能是否更优？
• RQ4 与 DGN-AM 和 PPGN 等迭代方法相比，MineGAN 在推理速度和生成质量方面表现如何，特别是在应用于 BigGAN 等高质量 GAN 时？
• RQ5 MineGAN 是否能泛化至分布偏移场景，包括分布内与分布外的迁移，例如从 ImageNet 到 Places365 的迁移？

主要发现

• MineGAN 在无条件与条件 GAN 迁移任务中均达到最先进性能，FID 分数分别为 78.4（分布外）与 52.3（分布内）的 ImageNet 到 Places365 迁移任务。
• MineGAN 在 FID 与 KMMD 指标上均优于 TransferGAN、DGN-AM 与 PPGN，尤其在挑战性分布外设置中表现更优，而 TransferGAN 因缺乏标签支持而失效。
• 该方法将单张图像的推理时间缩短至约 5.2ms，比 DGN-AM（3020ms）与 PPGN（3830ms）等迭代方法快三个数量级。
• 与 DGN-AM 和 PPGN 等方法不同，MineGAN 在不使用目标域标签的情况下实现优越性能，无需类别标签即可生成图像。
• 挖掘网络成功识别出与目标域（如 Tower）相关的源 GAN（如 Bridge 与 Church GAN），该结果在定性和定量分析中均得到验证。
• MineGAN 在多种复杂数据集上，对包括 BigGAN、Progressive GAN 与 SNGAN 在内的多样化 GAN 架构，均展现出对少样本目标图像的鲁棒性与泛化能力。