[論文レビュー] Consistency Regularization for Generative Adversarial Networks

Han Zhang, Zizhao Zhang+2 more|arXiv (Cornell University)|Oct 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 47

ひとこと要約

CR-GAN は semantically-preserving augmentation への感度を抑制する一貫性正則化を GAN 判別器に追加し、CIFAR-10 および CelebA で最先端の FID を達成するとともに CIFAR-10 および ImageNet-2012 の条件付き生成を向上させる。

ABSTRACT

Generative Adversarial Networks (GANs) are known to be difficult to train, despite considerable research effort. Several regularization techniques for stabilizing training have been proposed, but they introduce non-trivial computational overheads and interact poorly with existing techniques like spectral normalization. In this work, we propose a simple, effective training stabilizer based on the notion of consistency regularization---a popular technique in the semi-supervised learning literature. In particular, we augment data passing into the GAN discriminator and penalize the sensitivity of the discriminator to these augmentations. We conduct a series of experiments to demonstrate that consistency regularization works effectively with spectral normalization and various GAN architectures, loss functions and optimizer settings. Our method achieves the best FID scores for unconditional image generation compared to other regularization methods on CIFAR-10 and CelebA. Moreover, Our consistency regularized GAN (CR-GAN) improves state-of-the-art FID scores for conditional generation from 14.73 to 11.48 on CIFAR-10 and from 8.73 to 6.66 on ImageNet-2012.

研究の動機と目的

• 安定した GAN 訓練を補完する軽量な正則化子で安定性を高める。
• 意味論的に保存される拡張に対して判別器の出力を不変とすることで一貫性正則化（CR）を導入する。
• CR-GAN がさまざまな GAN 損失、アーキテクチャ、オプティマイザと互換性があることを示す。
• CR-GAN が無条件生成での最先端 FID を達成し、条件付き生成スコアを改善することを示す。

提案手法

• 判別器に入力する実データを意味論的に保存される変換で拡張する。
• 元の入力と拡張入力に対する判別器出力の L2 距離を最小化するペナルティ項 L_cr を導入する（L_cr = ||D(x) - D(T(x))||^2）。
• ジェネレータの損失を変更せず、係数 λ の下で判別器損失に L_cr を組み込む。
• スペクトral normalization を用いた複数の GAN 変種と損失に CR-GAN を適用し、勾配ベースの正則化子と比較して計算オーバーヘッドが低いことを示す。
• 拡張タイプ、正則化係数の感度、アーキテクチャ依存性を分析するアブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 一貫性正則化はさまざまな損失とアーキテクチャにおいて GAN 訓練の安定性とサンプル品質を向上させるか。
• RQ2 CR-GAN はスペクトral normalization や他の正則化子とどのように相互作用するか。
• RQ3 拡張タイプと正則化強度が CR-GAN の性能に与える影響は何か。
• RQ4 CR-GAN は無条件および条件付き画像生成において最先端の GAN を改良できるか。
• RQ5 勾配ベースの正則化子と比べて CR-GAN は計算効率が高いか。

主な発見

• CR-GAN はテスト設定全般で CIFAR-10 および CelebA の無条件画像生成に関する最良の FID を達成。
• 条件付き生成では、CIFAR-10 で FID を 14.73 から 11.48 に、ImageNet-2012 で 8.73 から 6.66 に改善。
• CR-GAN はスペクトral normalization を用いた異なるアーキテクチャと損失関数でも一貫して性能を向上。
• CR-GAN は勾配ベースの正則化子より約 1.7 倍速く、フォワード/バックワードパスのオーバーヘッドは小さい。
• 最先端の BigGAN⋆ に CR を追加すると CIFAR-10 の FID が 20.42 から 11.48、ImageNet の FID が 7.75 から 6.66 に改善。