[論文レビュー] Improved Consistency Regularization for GANs

Zhengli Zhao, Sameer Singh+4 more|arXiv (Cornell University)|Feb 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 27

ひとこと要約

本稿では、GAN における改善型一貫性正則化（ICR）を提案し、実画像および生成画像の両方を正則化するバランス型一貫性正則化（bCR）と、潜在空間における摂動に対して生成器の感度と識別器の不感度を促進する潜在一貫性正則化（zCR）を導入する。ICR はアーティファクトを低減し、ImageNet-2012 では BigGAN を用いて FID スコア 5.38、CIFAR-10 の条件付き生成では 9.21 という最先端のスコアを達成する。

ABSTRACT

Recent work has increased the performance of Generative Adversarial Networks (GANs) by enforcing a consistency cost on the discriminator. We improve on this technique in several ways. We first show that consistency regularization can introduce artifacts into the GAN samples and explain how to fix this issue. We then propose several modifications to the consistency regularization procedure designed to improve its performance. We carry out extensive experiments quantifying the benefit of our improvements. For unconditional image synthesis on CIFAR-10 and CelebA, our modifications yield the best known FID scores on various GAN architectures. For conditional image synthesis on CIFAR-10, we improve the state-of-the-art FID score from 11.48 to 9.21. Finally, on ImageNet-2012, we apply our technique to the original BigGAN model and improve the FID from 6.66 to 5.38, which is the best score at that model size.

研究の動機と目的

• 一貫性正則化が適用される CR-GAN において、実画像にのみ補正が施される場合に生じるアーティファクトを解消すること。
• 一貫性正則化を実画像だけでなく生成画像にも拡張することで、学習のバランスを改善すること。
• 潜在空間における摂動に対する生成器および識別器の挙動を正則化することで、耐性および多様性を向上させること。
• 非条件および条件付き画像生成ベンチマークにおいて、最先端の FID スコアを達成すること。
• GAN 学習に適した単純で効率的かつハイパーパrameterに不感な手法を開発すること。

提案手法

• 生成画像とその補正画像の間の一致性損失を適用することで、識別器の学習をバランスさせる、バランス型一貫性正則化（bCR）を導入する。
• 潜在ベクトルに微小なノイズを加え、その摂動に対して生成器が多様な出力を生成することを促進する、潜在一貫性正則化（zCR）を提案する。
• zCR において、生成器の損失には $ L_{\text{gen}} = -\|G(z) - G(T(z))\|^2 $ の項を含め、潜在摂動に対する感度を高める。
• 識別器は $ L_{\text{dis}} = \|D(G(z)) - D(G(T(z)))\|^2 $ を通じて正則化され、潜在摂動に対して不感となるよう強制する。
• bCR と zCR を統合し、改善型一貫性正則化（ICR）を構築し、標準的な GAN 目的関数と併用する。
• 画像には標準的なデータ補正（例：ランダムクロップ、反転）を適用し、潜在ベクトルにはノイズを追加して摂動を生成する。

実験結果

リサーチクエスチョン

• RQ1 一貫性正則化を実画像に加え、生成画像に対しても拡張することで、CR-GAN における非対称な補正によって生じるアーティファクトを低減できるか？
• RQ2 生成器の潜在摂動に対する感度を正則化することで、サンプルの多様性が向上し、モード崩壊が軽減されるか？
• RQ3 識別器が潜在摂動に対して不感となるよう正則化することで、一般化性能および耐性が向上するか？
• RQ4 ノイズの大きさや重み係数などのハイパーパramータ設定（例：ノイズの大きさ、重み係数）が、提案された ICR フレームワークの最適な性能をもたらすか？
• RQ5 ICR は、CIFAR-10、CelebA、ImageNet-2012 といった多様なベンチマークで最先端の FID スコアを達成できるか？

主な発見

• ICR は実画像と生成画像の両方における一貫性正則化のバランスを取ることで、生成画像のアーティファクトを低減する。
• CIFAR-10 では、非条件画像生成の複数の GAN アーキテクチャにおいて、最高の FID スコアを達成する。
• CIFAR-10 の条件付き画像生成において、ICR は FID スコアを 11.48 から 9.21 まで改善し、新たな最先端を樹立する。
• 元の BigGAN モデルを用いた ImageNet-2012 では、ICR により FID スコアが 6.66 から 5.38 に低下し、同モデルサイズで最高のスコアを記録する。
• 計算コストは軽く、特にノイズの大きさ $ \sigma_{\text{noise}} = 0.07 $ と $ \lambda_{\text{gen}} = 0.5 $ の中程度のノイズ設定において、ハイパーパramータの選択に強く依存しない。
• 実験の結果、識別器係数 $ \lambda_{\text{dis}} $ を高めることで性能がさらに向上することが示され、zCR におけるその重要性が裏付けられる。