[論文レビュー] Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data

Liming Jiang, Bo Dai+2 more|arXiv (Cornell University)|Nov 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 28

ひとこと要約

APA は ジェネレータを用いて限られた実データを自己の偽画像で適応的に拡張し、ディスクリミネータを欺いて過学習を抑制し、外部増強なしで GAN の訓練品質を向上させる。

ABSTRACT

Generative adversarial networks (GANs) typically require ample data for training in order to synthesize high-fidelity images. Recent studies have shown that training GANs with limited data remains formidable due to discriminator overfitting, the underlying cause that impedes the generator's convergence. This paper introduces a novel strategy called Adaptive Pseudo Augmentation (APA) to encourage healthy competition between the generator and the discriminator. As an alternative method to existing approaches that rely on standard data augmentations or model regularization, APA alleviates overfitting by employing the generator itself to augment the real data distribution with generated images, which deceives the discriminator adaptively. Extensive experiments demonstrate the effectiveness of APA in improving synthesis quality in the low-data regime. We provide a theoretical analysis to examine the convergence and rationality of our new training strategy. APA is simple and effective. It can be added seamlessly to powerful contemporary GANs, such as StyleGAN2, with negligible computational cost.

研究の動機と目的

• ディスクリミネータの過学習による、限られたデータでの GAN の訓練課題に対処する。
• 生成画像を用いて discriminator を adaptively deceive する Adaptive Pseudo Augmentation (APA) を導入する。
• APA を JS ダイバージェンスの最小化と収束に結びつく理論的分析を提供する。
• StyleGAN2 など現代的な GAN とも計算オーバーヘッドがほとんどなく、APA の有効性と適用性を示す。

提案手法

• 偽のサンプルをジェネレータから実データに適度に注入し、擬似実例として用いる補助的偽拡張。
• deception probability p は増強の強さを制御し、ディスクリミネータのロジットから派生した過学習ヒューリスティック λ に基づいて適応的に更新される。
• lambda の三つの Variant を提案: lambda_r, lambda_f, lambda_rf; 主実験では lambda_r を使用。
• APA は滑らか化した実データ分布と生成データ分布の間の JS ダイバージェンスを最小化することにリンクした修正ミニマックス目的を導く。
• 証明可能な収束性: 最適な G と D の下で、APA は p_g = p_data における global minimum を保持し、容量が十分ならジェネレータの収束を意味する。

実験結果

リサーチクエスチョン

• RQ1 Adaptive Pseudo Augmentation (APA) は 外部拡張なしで低データ域の GAN パフォーマンスを改善できるか？
• RQ2 APA は 限られたデータ下で収束性を保持し、JS ダイバージェンスの最小化と関連づくか？
• RQ3 APA は 実務上の拡張ベースや正則化アプローチ（例: ADA, LC-Reg）とどのように相互作用するか？
• RQ4 APA の 実データが不足している設定で、多様なデータセットに対する実証的影響はどの程度か？

主な発見

• APA は AFHQ-Cat-5k, FFHQ-5k, Anime-5k, CUB-12k といったデータセットで、StyleGAN2 のベースラインと比較して一貫して合成品質を向上させる（FID 低下、IS 上昇）。
• データが 1k–7k 程度しかなくても、APA は FID/IS の顕著な向上を達成し、時には完全データの StyleGAN2 性能に近づく。
• APA の訓練は ADA ベースのアプローチと比較して計算オーバーヘッドがほとんどない。
• APA は ADA のような標準的なデータ拡張と補完的であり、併用することでさらに性能が向上する。
• アブレーション研究は λ variant の選択に対して頑健であること、適応的な欺瞞（p）が固定または両面ラベル戦略より多くの場合で優れていることを示す。
• 理論的には、APA は滑らか化された実データと生成データ間の JS ダイバージェンス最小化へと目的を変換し、収束主張を支持する。