[論文レビュー] Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs

Sangwoo Mo, Minsu Cho+1 more|arXiv (Cornell University)|Feb 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 122

ひとこと要約

識別器の下位層を凍結し、上位層をファインチューニングする（FreezeD）ことでGANを新しいドメインへ転送する。このシンプルなベースラインは、条件付き・非条件付きGANを問わず、従来の転移学習法より一貫してFIDを改善する。

ABSTRACT

Generative adversarial networks (GANs) have shown outstanding performance on a wide range of problems in computer vision, graphics, and machine learning, but often require numerous training data and heavy computational resources. To tackle this issue, several methods introduce a transfer learning technique in GAN training. They, however, are either prone to overfitting or limited to learning small distribution shifts. In this paper, we show that simple fine-tuning of GANs with frozen lower layers of the discriminator performs surprisingly well. This simple baseline, FreezeD, significantly outperforms previous techniques used in both unconditional and conditional GANs. We demonstrate the consistent effect using StyleGAN and SNGAN-projection architectures on several datasets of Animal Face, Anime Face, Oxford Flower, CUB-200-2011, and Caltech-256 datasets. The code and results are available at https://github.com/sangwoomo/FreezeD.

研究の動機と目的

• 限定データと分布シフト下でのGANのためのシンプルで頑健な転移学習ベースラインを動機づける。
• 識別器の下位層を凍結すると、非条件・条件付きGANの両方で高い性能が得られることを示す。
• FreezeDの一貫性と安定性を多様なデータセットとアーキテクチャで示す。
• FreezeDを従来の方法（ファインチューニング、GLO、MineGAN、L2-SP、特徴蒸留）と比較し、実用的な利点を強調する。

提案手法

• 識別器を特徴抽出器（下位層）と分類器（上位層）に分割し、分類器のみをファインチューニングする。
• このFreezeDベースラインを、FFHQで事前学習したStyleGANおよびImageNetで事前学習したSNGAN-projectionに適用する。
• 複数のターゲットデータセット（Animal Face、Anime Face、Oxford Flower、CUB-200-2011、Caltech-256）でFIDを用いて評価する。
• FreezeDを、Fine-tuning、Scale/Shift、GLO、MineGAN、L2-SP、Feature Distillationを含む従来の転移法と比較する。
• 凍結する識別器の層の組み合わせに関するアブレーションを提供し、安定性と多様性への影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング時に識別器の下位層を凍結することは、素のファインチューニングよりGANの転移学習を改善するか。
• RQ2 限られたデータで多様なターゲットデータセットに対して、非条件・条件付きGANでFreezeDはどのように機能するか。
• RQ3 FIDと訓練の安定性の観点から、FreezeDは既存の転移学習手法とどう比較されるか。

主な発見

• FreezeDは、非条件・条件付きGANを問わず、素のファインチューニングより一貫してFIDを改善する。
• 識別器下位層を適切な深さまで凍結することで、訓練を安定化させ、いくつかのデータセットで最良/最終FIDスコアを向上させる。
• StyleGANをAnimal FaceおよびAnime Faceに転送した場合、FreezeDはほとんどの設定でScale/Shift、GLO、MineGAN、L2-SPなどの従来手法を上回る。
• SNGAN-projectionをOxford Flower、CUB-200-2011、Caltech-256に転送した場合、FreezeDは複数のケースで最良/最終FIDを改善するが、データセットにより安定性は異なる。
• Feature distillationはFreezeDと同等の結果を示すが一般に遅い一方、FreezeDはより簡潔で効果的なベースラインのままである。
• 定性的な結果は、FreezeDがクラス一貫性のあるサンプルを生成し潜在コードの意味を保持することを示す。