[論文レビュー] Training Generative Adversarial Networks with Limited Data

Tero Karras, Miika Aittala+4 more|arXiv (Cornell University)|Jun 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 932

ひとこと要約

小さなデータセットでのGAN訓練を安定化させるための適応的識別器拡張（ADA）を導入し、損失関数やアーキテクチャを変更せず、数千枚の画像と新しい CIFAR-10 ベンチマークで高品質な結果を達成。

ABSTRACT

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

研究の動機と目的

• データが不足しているときのGANのオーバーフィット問題を動機づけ、その訓練の安定性への影響を定量化する。
• 生成画像へリークさせず、識別器のオーバーフィットを防ぐ拡張ベースの解決策を提案する。
• 訓練中の拡張強度を制御する適応機構を開発する。
• CIFAR-10を限られたデータのベンチマークとして含め、複数のデータセットおよび転移学習シナリオで有効性を実証する。
• 代替手法と比較し、小データGANの実用的なガイドラインを確立する。

提案手法

• 識別器に提示されるすべての画像に、多様な微分可能な拡張を適用する確率的識別器拡張を提案し、生成器の訓練中も含む。
• 拡張が生成画像へリークしないように、確率的適用をpで制御する非リーク拡張理論を開発する。
• 6カテゴリにまたがる18の変換を含む拡張パイプラインを設計し、固定順序で確率pで適用し、逆伝播の微分可能性を確保する。
• 訓練/検証/生成データに対する識別器出力を用いてオーバーフィットのヒューリスティクスに基づき拡張強度pを調整する適応識別器拡張（ADA）を導入する。
• オーバーフィットのヒューリスティクスとしてr_vと r_t の2つを用いてpを導く。最終的には対象値0.6のr_tを採用して適応性を駆動する。
• from-scratchおよび転移学習のGAN設定でADAを評価し、bCRなどの代替法やさまざまなアーキテクチャ/識別器の調整と比較する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで訓練されたGANにおいて、損失関数やネットワークアーキテクチャを変更せずに識別器のオーバーフィットを抑制できるか？
• RQ2 リークしない確率的識別器拡張は、異なるデータセットサイズやドメインでGAN訓練を安定化させるか？
• RQ3 過剰適合を防ぎつつ生成器の品質を保持するために、訓練中の拡張強度をどのように適応的に調整すべきか？
• RQ4 ADAは小規模データセットや転移学習のシナリオで性能を向上させるか、またbCRのような関連手法と比較してどうか？
• RQ5 CIFAR-10は真に限られたデータのベンチマークか、そしてADAはその指標を大幅に改善できるか？

主な発見

• ADAは限られたデータでのGAN訓練を著しく安定化させ、識別器のオーバーフィットと発散を防ぐ。
• 多様な非リーク・微分可能拡張を、生成画像へリークせずにすべての識別器入力（および生成器入力）に適用できる。
• オーバーフィットヒューリスティクスによる拡張強度(p)の適応制御は、固定拡張よりもデータセットサイズを問わずFID/KIDスコアを改善する。
• ADAはゼロからも転移学習でも強い結果を達成し、しばしばStyleGAN2と同等以上の品質を、十数分の1の画像枚数で実現する。
• CIFAR-10では、ADAがFIDを5.59から2.42へ、クラス条件付き設定でISを向上させ、CIFAR-10が限られたデータのベンチマークであり、ADAが大幅な改善をもたらすことを示している。
• ADAはエネルギー効率を保ち、訓練コストを大幅に増加させない。