[論文レビュー] Improving the Speed and Quality of GAN by Adversarial Training

Jiachen Zhong, Xuanqing Liu+1 more|arXiv (Cornell University)|Aug 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 14

ひとこと要約

この論文では、アーキテクチャの革新や重い正則化を用いずに、GANの学習速度と画像品質を向上させるシンプルで効果的な学習アルゴリズム、FastGANを提案する。ディスクリミネータに追加の adversarial 学習ループを導入することで、CIFAR10、CIFAR100、ImageNetで最先端のInceptionスコアとFIDを達成し、2〜4台のGPUでの学習でSNGANやSAGANを上回った。

ABSTRACT

Generative adversarial networks (GAN) have shown remarkable results in image generation tasks. High fidelity class-conditional GAN methods often rely on stabilization techniques by constraining the global Lipschitz continuity. Such regularization leads to less expressive models and slower convergence speed; other techniques, such as the large batch training, require unconventional computing power and are not widely accessible. In this paper, we develop an efficient algorithm, namely FastGAN (Free AdverSarial Training), to improve the speed and quality of GAN training based on the adversarial training technique. We benchmark our method on CIFAR10, a subset of ImageNet, and the full ImageNet datasets. We choose strong baselines such as SNGAN and SAGAN; the results demonstrate that our training algorithm can achieve better generation quality (in terms of the Inception score and Frechet Inception distance) with less overall training time. Most notably, our training algorithm brings ImageNet training to the broader public by requiring 2-4 GPUs.

研究の動機と目的

• 計算リソースが限られた環境下でも、GANの学習速度、モデルの表現力、生成画像品質のトレードオフを解消すること。
• スペクトル正則化、大規模バッチ学習、TTURといった計算コストの高い技術に依存せず、性能を維持または向上させること。
• 標準的なハードウェア（2〜4台のGPU）で効率的かつ高品質なImageNet学習を可能にし、広く一般のユーザーが高水準なGAN学習にアクセスできるようにすること。
• シンプルなResNetベースの生成器とディスクリミネータが、新たな adversarial 学習スキームと組み合わせることで強力な性能を発揮できることを示すこと。

提案手法

• ディスクリミネータがより頑健で一般化性能に優れるように、追加の adversarial 学習フェーズを備えた二重ループ adversarial 学習戦略を導入する。
• 標準GAN損失と摂動に基づく adversarial 目的関数を組み合わせた修正された損失関数を採用し、ディスクリミネータの安定性と勾配伝搬を向上させる。
• 学習中のディスクリミネータ訓練段階で、制限された摂動（$c_{ ext{max}}$で制御）を持つ投影勾配降下（PGD）攻撃を用いて adversarial なサンプルを生成する。
• 改善された損失関数をディスクリミネータに適用し、実データと摂動を加えた偽物サンプルを区別できるように訓練することで、一般化性能を向上させる。
• 明示的なTTURを用いないが、学習ダイナミクスによって二段階の更新ルールが暗黙的に実現される。
• 自己注意機構、ノイズ付きスキップ接続、重み正則化を一切使用せず、生成器とディスクリミネータの両方で標準的なResNetアーキテクチャに依存する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル正則化、自己注意機構、大規模バッチ学習を一切用いずに、シンプルなResNetベースのGANが高品質な画像生成を達成できるか？
• RQ2 ディスクリミネータに補助的な adversarial 学習ループを追加することで、学習速度と生成品質の両方が向上するか？
• RQ3 提案手法により、2〜4台のGPUでのみImageNetで高精細なGANを学習可能になるか？
• RQ4 SNGANやSAGANと比較して、提案手法の adversarial 学習スキームは複数のデータセットでFIDとInceptionスコアの観点からどのように性能を発揮するか？
• RQ5 超パrameter $c_{ ext{max}}$ の影響は、最終的な生成品質と学習安定性にどのような影響を及けるか？

主な発見

• ImageNet-143（128×128）では、2台のGPUでの学習でFIDが14.48に達し、SNGAN（FID: 30.83）とRobGAN（FID: 33.98）を下回り、時間は半分未満で達成した。
• CIFAR10では、Inceptionスコア8.87、FID17.27を達成し、ベースラインのRobGAN（IS: 6.26、FID: 43.69）を上回り、クラス内多様性も向上した。
• CIFAR10では、SNGANと比較して1000イテレーションあたりの学習速度が3〜4倍速く（95.5秒 vs. 245.1秒）、性能は同等または上回った。
• ImageNet-143（64×64）では、1台のGPUで学習を36,100秒で完了したのに対し、SNGANは222,000秒を要し、6倍の高速化とFIDの改善（12.04 vs. 29.70）を達成した。
• ImageNet-143での学習時間を延長したFastGANは、さらに性能を向上させた（IS: 42.91、FID: 11.98）、長時間学習によるさらなる向上の余地があることを示した。
• アブレーションスタディにより、CIFAR10およびCIFAR100で$c_{ ext{max}} = 0.006$が最適な性能を発揮することが確認され、頑健性と学習安定性のバランスが取れていた。