[論文レビュー] Large Scale GAN Training for High Fidelity Natural Image Synthesis

Andrew Brock, Jeff Donahue+1 more|arXiv (Cornell University)|Sep 28, 2018

Generative Adversarial Networks and Image Synthesis被引用数 2,423

ひとこと要約

この論文は大型スケールで BigGAN を訓練し、ImageNet で最先端の忠実度と多様性を達成し、正交正則化とトランケーション・トリックを導入し、スケール時の不安定性を分析する。

ABSTRACT

Despite recent progress in generative image modeling, successfully generating high-resolution, diverse samples from complex datasets such as ImageNet remains an elusive goal. To this end, we train Generative Adversarial Networks at the largest scale yet attempted, and study the instabilities specific to such scale. We find that applying orthogonal regularization to the generator renders it amenable to a simple "truncation trick," allowing fine control over the trade-off between sample fidelity and variety by reducing the variance of the Generator's input. Our modifications lead to models which set the new state of the art in class-conditional image synthesis. When trained on ImageNet at 128x128 resolution, our models (BigGANs) achieve an Inception Score (IS) of 166.5 and Frechet Inception Distance (FID) of 7.4, improving over the previous best IS of 52.52 and FID of 18.6.

研究の動機と目的

• 高忠実度で多様な画像合成のために、パラメータ数とバッチサイズを拡大することの利点を示す。
• GAN のスケーラビリティと条件付けを改善するためのアーキテクチャ変更と正則化の導入。
• トランケーションが忠実度と多様性をトレードオフさせ、事後的な制御機構を提供できることを示す。
• 大規模 GAN の不安定性を分析し、パフォーマンスを過度に犠牲にせずに訓練を安定化させるアプローチを評価する。

提案手法

• 先行研究と比較してパラメータ数とバッチサイズを増やして GAN をスケールする。
• クラス埋め込みを共有し、BatchNorm の gain/bias へ射影する。
• 潜在変数 z から複数の生成層へスキップ接続を追加する（Skip-z）。
• Orthogonal Regularization を適用して、良好に条件づけられた直交様の重み行列を促進する。
• 閾値内で潜在変数 z を再サンプリングして忠実度と多様性をトレードオフする Truncation Trick を導入・分析する。
• スペクトル正規化と勾配ペナルティを安定化手段として用い、その影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズとバッチサイズを増やすことは、生成された ImageNet 画像の忠実度と多様性にどう影響するか？
• RQ2 大規模で安定した訓練と性能向上を可能にするアーキテクチャ変更と正則化は何か？
• RQ3 Truncation Trick は訓練の安定性を損なうことなく、忠実度と多様性のトレードオフを実用的に制御できるか？
• RQ4 大規模 GAN の主な不安定性の原因は何か、深刻な性能低下を招かずにそれらを緩和するにはどうするか？

主な発見

モデル/設定	解像度	パラメータ (M)	共有	Skip-z	直交	繰り返し × 10^3	FID	IS
SA-GAN Baseline	128	1000	✗	✗	✗	1,000	18.65	52.52
BigGAN	128	158.3	✗	✗	✗	165	8.51±0.32	98.76±2.84
BigGAN	128	158.3	✓	✗	✗	185±11	9.18±0.13	94.94±1.32
BigGAN	128	158.3	✓	✓	✗	152±7	8.73±0.45	98.76±2.84
BigGAN	128	158.3	✓	✓	✓	165±13	8.51±0.32	99.31±2.10
SN-GAN	128	71.3	✓	✓	✓	371±7	10.48±0.10	86.90±0.61

• BigGAN は ImageNet で複数の解像度で最先端の IS と FID を達成する（例: 128×128: IS 166.5, FID 7.4）。
• 256×256 および 512×512 では BigGAN は IS 232.5 と FID 8.1 を達成；IS 241.5 と FID 11.5 である。
• Truncation はサンプル品質（IS/FID）を改善するがサンプル多様性を犠牲にする；Orthogonal Regularization により truncation に対する適用性が（実行の割合が）16%から60%へ向上する。
• 共有埋め込みと skip-z 接続はトレーニング効率と性能の顕著な向上に寄与する（例: 多様性と忠実度の結びつき）。
• 大規模な訓練は生成器の条件付けと判別器のダイナミクスに起因する不安定性を露呈させる。判別器に対する過度な勾配ペナルティは安定性を高めるが性能を損なう可能性がある。