[論文レビュー] Few-Shot Adaptation of Generative Adversarial Networks

Esther Robb, Wen–Sheng Chu+2 more|arXiv (Cornell University)|Oct 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 54

ひとこと要約

本論文は Few-Shot GAN (FSGAN) を提案し、事前学習済み GAN を新しい領域にわずか数枚のターゲット画像で適応させる方法を示す。重みを SVD で因数分解し、特異ベクトルを凍結したまま特異値のみを更新することで適応する。

ABSTRACT

Generative Adversarial Networks (GANs) have shown remarkable performance in image synthesis tasks, but typically require a large number of training samples to achieve high-quality synthesis. This paper proposes a simple and effective method, Few-Shot GAN (FSGAN), for adapting GANs in few-shot settings (less than 100 images). FSGAN repurposes component analysis techniques and learns to adapt the singular values of the pre-trained weights while freezing the corresponding singular vectors. This provides a highly expressive parameter space for adaptation while constraining changes to the pretrained weights. We validate our method in a challenging few-shot setting of 5-100 images in the target domain. We show that our method has significant visual quality gains compared with existing GAN adaptation methods. We report qualitative and quantitative results showing the effectiveness of our method. We additionally highlight a problem for few-shot synthesis in the standard quantitative metric used by data-efficient image synthesis works. Code and additional results are available at http://e-271.github.io/few-shot-gan.

研究の動機と目的

• ラベル付きデータがごくわずか（5–100 枚）しかない領域での画像合成を動機づけ、実現する。
• 事前学習済み GAN の全体的な微調整を行わずに、制約されたが表現力のあるパラメータ空間を開発する。
• SVD ベースの重み適応が、既存の少数ショット手法よりも高品質と多様性をもたらすことを示す。

提案手法

• 事前学習済みジェネレーターとディスクリミネータの重みに対して特異値分解（SVD）を適用し、(U0, Σ0, V0) を得る。
• 左特異ベクトルと右特異ベクトル（U0, V0）を固定し、特異値 Σ を最適化してターゲット領域に適応させる。
• 4D畳み込み重みを2Dへ reshape して層ごとに W0 = U0 Σ0 V0^T を得、訓練時には WΣ = U0 Σ V0^T を再構成する。
• 過剰適合を避けるため、制限된枚数のタイムステップで Σ を更新するよう標準的なGAN目的で訓練する。
• 推論時にはトランケーション（ψ = 0.8）を用いて品質を保ちつつ多様性を促進する。
• 特異値の適応が出力の意味論的に意味のある変化に対応することを主張する。

実験結果

リサーチクエスチョン

• RQ1 5–100 枚のターゲット画像で、新しい領域においてGANの少数ショット適応が新規で高品質なサンプルを生成できるか。
• RQ2 適応を特異値のみに制限することは、完全なファインチューニングやバッチ統計適応よりも表現力と安定性のバランスを向上させるか。
• RQ3 近域・遠域転送における画像品質、多様性、安定性の観点で、FSGAN は既存の少数ショット GAN 適応手法とどのように比較されるか。

主な発見

手法	FID (CelebA 4978)	FQI (CelebA 4978)	シャープネス (CelebA 4978)	FID (CelebA 3719)	FQI (CelebA 3719)	シャープネス (CelebA 3719)
Pretrain	–	0.40±0.11	0.91±0.06	–	0.37±0.12	0.92±0.06
TransferGAN	75.41	0.30±0.07	0.61±0.05	178.31	0.26±0.09	0.61±0.04
FreezeD	75.30	0.33±0.09	0.58±0.04	143.83	0.27±0.09	0.56±0.05
SSGAN	87.79	0.32±0.08	[0.67±0.05]	147.14	0.27±0.10	0.58±0.05
FSGAN (ours)	78.90	[0.36±0.07]	0.65±0.05	170.00	0.27±0.08	[0.68±0.07]

• FSGAN は近域・遠域タスクの少数ショットシナリオで、競合手法より高い画像品質を達成する。
• 上位特異値を変化させると、構造を保持しつつ出力に意味論的に意味のある変化が生じる。
• FIDが非常に少数ショットの設定では誤解を招く可能性がある；定性的指標と多様性に焦点を当てた評価が必要。
• FSGAN は 5–100-shot 設定で安定性を示し、FreezeD および SSGAN のベースラインより適応挙動が優れている。
• 近域転送（FFHQ→CelebA）は、ベースラインと比較してアーチファクトが抑制された自然な顔生成を示す。
• 遠域転送（例: 写真→アート）では、FSGAN がより劇的で整合的な意味的変化を生み出しつつ品質を維持する。