[論文レビュー] DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data

Tiantian Fang, Ruoyu Sun+1 more|arXiv (Cornell University)|Nov 27, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

DigGANは、判別器の出力に関して、本物画像と生成画像の勾配ノルムの差を最小化する勾配ベースの正則化を導入する。これにより、Discriminator Gradient Gap（DIG）が軽減され、限られたデータ下でも学習が安定化し、FIDスコアが著しく向上する—例として、CIFAR-100で10%のデータを使用した場合、BigGANのFIDが73.01から27.61に向上する。

ABSTRACT

Generative adversarial nets (GANs) have been remarkably successful at learning to sample from distributions specified by a given dataset, particularly if the given dataset is reasonably large compared to its dimensionality. However, given limited data, classical GANs have struggled, and strategies like output-regularization, data-augmentation, use of pre-trained models and pruning have been shown to lead to improvements. Notably, the applicability of these strategies is 1) often constrained to particular settings, e.g., availability of a pretrained GAN; or 2) increases training time, e.g., when using pruning. In contrast, we propose a Discriminator gradIent Gap regularized GAN (DigGAN) formulation which can be added to any existing GAN. DigGAN augments existing GANs by encouraging to narrow the gap between the norm of the gradient of a discriminator's prediction w.r.t.\ real images and w.r.t.\ the generated samples. We observe this formulation to avoid bad attractors within the GAN loss landscape, and we find DigGAN to significantly improve the results of GAN training when limited data is available. Code is available at \url{https://github.com/AilsaF/DigGAN}.

研究の動機と目的

• 限られたデータで学習する際のGANの不安定さと性能低下を解消すること。
• 学習中にGANの損失関数の地形における悪影響を及える吸引子（bad attractors）の影響を低減すること。
• 事前学習やデータ拡張を必要とせず、既存のGANに軽量かつ即座に統合可能な正則化を構築すること。
• データが不足する状況下でも、生成サンプルの一般化性能と多様性を向上させること。
• GANアーキテクチャに依存しない理論的裏付けがありながらも、実用的効果を示す正則化を提供すること。

提案手法

• 本物画像と生成画像に対する判別器の勾配のL2ノルムの絶対差を最小化する新しい正則化項を提案する。
• Discriminator Gradient Gap（DIG）を |‖∇ₓD(x_real)‖₂ − ‖∇ₓD(x_fake)‖₂| として定義し、学習中にこれを最小化する。
• 正則化をGAN損失関数のペナルティ項として適用し、強さを制御するハイパーパrameter λ を用いる。
• 勾配計算に、クラス別またはノルムに基づくペアリングではなく、ランダムペアリングを用いる（アブレーションを除く）。
• BigGAN、SNGAN、StyleGAN2などの既存のGANフレームワークに、アーキテクチャの変更なしにシームレスに統合可能である。
• 学習ダイナミクスの安定化と一般化性能の向上のため、指数移動平均（EMA）を採用する。

実験結果

リサーチクエスチョン

• RQ1 本物データと生成データの間の勾配ノルムギャップを小さくすることで、限られたデータ下でのGAN学習の安定性が向上するか？
• RQ2 提案されたDIG正則化は、GAN最適化地形における悪影響を及える吸引子の影響を緩和するか？
• RQ3 低データ環境下において、R1、GP-1、DRAGANといった既存の勾配ベース正則化と比較して、DigGANはどのように性能を発揮するか？
• RQ4 ペアリング戦略（ランダム vs. クラス別 vs. ノルム別）は、DigGANの性能に顕著な影響を及えるか？
• RQ5 データが不足する状況下でも、多様なアーキテクチャとデータセットにおいて、DigGANは一貫してFIDスコアを向上させることができるか？

主な発見

• CIFAR-100で10%のデータを使用した場合、DigGANはFIDをベースラインの73.01から27.61に低下させ、62.3%の改善を達成した。
• CIFAR-10で10%のデータを使用した場合、DigGANはFIDをベースラインの23.75から10.12に低下させ、58.6%の低減を達成した。
• すべての設定において、R1、GP-1、DRAGANを上回るFID性能を示し、特に低データ条件下で顕著な優位性を示した。
• アブレーションスタディの結果、ランダムペアリングが最良の性能を示した一方、勾配ノルムに基づくペアリングは10%データ条件下で失敗した。
• 正則化はアーキテクチャに強く依存せず、BigGANおよびStyleGAN2の両方で限られたデータ下でFIDスコアを向上させた。
• 勾配ノルムギャップ（DIG）はデータ量と逆相関しており、DigGANはこれを効果的に低減し、学習の安定性向上と相関した。