[论文解读] Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs

Sangwoo Mo, Minsu Cho+1 more|arXiv (Cornell University)|Feb 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 122

一句话总结

在微调上层的同时冻结判别器的下层（FreezeD），将GAN转移到新域；这一简单基线在无条件和有条件GAN上始终优于先前的迁移学习方法的FID。

ABSTRACT

Generative adversarial networks (GANs) have shown outstanding performance on a wide range of problems in computer vision, graphics, and machine learning, but often require numerous training data and heavy computational resources. To tackle this issue, several methods introduce a transfer learning technique in GAN training. They, however, are either prone to overfitting or limited to learning small distribution shifts. In this paper, we show that simple fine-tuning of GANs with frozen lower layers of the discriminator performs surprisingly well. This simple baseline, FreezeD, significantly outperforms previous techniques used in both unconditional and conditional GANs. We demonstrate the consistent effect using StyleGAN and SNGAN-projection architectures on several datasets of Animal Face, Anime Face, Oxford Flower, CUB-200-2011, and Caltech-256 datasets. The code and results are available at https://github.com/sangwoomo/FreezeD.

研究动机与目标

• 在数据有限和分布移位的情形下，为GANs提出一个简单、鲁棒的迁移学习基线。
• 证明冻结判别器的下层在无条件和有条件GAN中能带来强劲表现。
• 展示FreezeD在多样数据集与架构上的一致性与稳定性。
• 将FreezeD与先前方法（微调、GLO、MineGAN、L2-SP、特征蒸馏）进行比较，并凸显其实用优势。

提出的方法

• 将判别器分成特征提取器（下层）和分类器（上层），仅微调分类器。
• 将此FreezeD基线应用于在FFHQ上预训练的StyleGAN和在ImageNet上预训练的SNGAN-projection。
• 在多个目标数据集上使用FID进行评估（Animal Face、Anime Face、Oxford Flower、CUB-200-2011、Caltech-256）。
• 将FreezeD与先前的迁移方法比较，包括Fine-tuning、Scale/Shift、GLO、MineGAN、L2-SP和Feature Distillation。
• 给出冻结判别器哪些层的消融实验，并讨论稳定性与多样性影响。

实验结果

研究问题

• RQ1 在微调期间冻结判别器的下层是否能相对于普通微调提升GAN的迁移学习效果？
• RQ2 在有限数据的多样目标数据集上，FreezeD在无条件与有条件GAN上的表现如何？
• RQ3 在FID和训练稳定性方面，FreezeD相对于现有迁移学习方法的比较如何？

主要发现

• FreezeD在无条件和有条件GAN中对比于原生微调，FID持续提升。
• 冻结判别器下层（并达到合适深度）可稳定训练并在若干数据集上获得更好的best/final FID分数。
• 对于转移到Animal Face和Anime Face的StyleGAN，FreezeD在大多数设置中优于如Scale/Shift、GLO、MineGAN和L2-SP等先前方法。
• 对于转移到Oxford Flower、CUB-200-2011、Caltech-256的SNGAN-projection，在若干情形下FreezeD提升了best/final FID，尽管稳定性因数据集而异。
• 特征蒸馏(show)与FreezeD结果相近但通常更慢，而FreezeD仍是一个更简单、有效的基线。
• 定性结果表明FreezeD生成的样本在类别一致性方面更强，并保留潜在编码语义。