[論文レビュー] Collapse by Conditioning: Training Class-conditional GANs with Limited Data

Mohamad Shahbazi, Martin Danelljan+2 more|arXiv (Cornell University)|Jan 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 16

ひとこと要約

この論文は、限られたデータ設定下におけるクラス条件付きGANの条件付け誘発モード崩壊を特定し、それに対処する。無条件GANは条件付きGANを上回る性能を示すが、著者らは事前に訓練された無条件GANに段階的にクラス条件付けを組み込む遷移的訓練戦略を提案する。この戦略により、4つのベンチマークデータセットで訓練の安定性と生成品質が顕著に向上する。

ABSTRACT

Class-conditioning offers a direct means to control a Generative Adversarial Network (GAN) based on a discrete input variable. While necessary in many applications, the additional information provided by the class labels could even be expected to benefit the training of the GAN itself. On the contrary, we observe that class-conditioning causes mode collapse in limited data settings, where unconditional learning leads to satisfactory generative ability. Motivated by this observation, we propose a training strategy for class-conditional GANs (cGANs) that effectively prevents the observed mode-collapse by leveraging unconditional learning. Our training strategy starts with an unconditional GAN and gradually injects the class conditioning into the generator and the objective function. The proposed method for training cGANs with limited data results not only in stable training but also in generating high-quality images, thanks to the early-stage exploitation of the shared information across classes. We analyze the observed mode collapse problem in comprehensive experiments on four datasets. Our approach demonstrates outstanding results compared with state-of-the-art methods and established baselines. The code is available at https://github.com/mshahbazi72/transitional-cGAN

研究の動機と目的

• 限られたデータで訓練する際、クラスラベルによる追加の監視があるにもかかわらず、クラス条件付きGANが深刻なモード崩壊を示す理由を調査すること。
• 直感的な期待とは反して、限られたデータ環境下で無条件GANが条件付きGANを上回る理由を理解すること。
• 無条件学習の安定性を活用しながら、段階的にクラス条件付けを導入することで制御された生成を実現する訓練戦略を開発すること。
• 実際の限られたデータ条件下で、複数のベンチマークデータセットにおける提案手法の有効性を示すこと。

提案手法

• 標準的な無条件GANを全データセットで事前に訓練し、安定した特徴量および分布の学習を確立する。
• 訓練エポックにわたって損失関数を変更することで、生成器および識別器に段階的にクラス条件付けを組み込む。
• 無条件の目的から条件付きの目的へ段階的に移行する訓練スケジュールを採用し、初期段階では安定性を、後続段階では制御性を重視する。
• アーキテクチャへの最小限の変更で済み、既存の最先端GAN（例：StyleGAN2+ADA）に対しても適用可能である。
• 条件付きおよび無条件の損失成分の寄与度を制御する学習可能な混合係数を介して条件付けを組み込む。
• ウォームアップ段階を設け、完全なクラス条件付けが適用される前に生成器が分離表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで学習する際、クラスラベルによる追加の監視があるにもかかわらず、クラス条件付きGANが深刻なモード崩壊を示す理由は何か？
• RQ2 同じデータで学習した無条件GANが、多様性と忠実度の面で条件付きGANを上回る理由は何か？
• RQ3 無条件GANの訓練安定性を活用して、低データ環境下におけるクラス条件付きGANの訓練を改善できるか？
• RQ4 モード崩壊を防ぐために、無条件学習から条件付き学習へ移行する最適な方法は何か？
• RQ5 複数のデータセットにおいて、提案手法はFID、FID曲線、およびサンプル品質の観点で最先端の手法と比較してどのように差をつけるか？

主な発見

• ImageNet Carnivoresでは、提案手法がFID 12.5を達成し、ベースラインの条件付きGAN（FID: 28.1）および無条件GAN（FID: 15.3）を顕著に上回った。
• Food101では、FIDを条件付きの22.4から14.7に低下させ、限られたデータ下での多様性と品質の向上を示した。
• CUB-200-2011では、FID 18.9を達成し、同条件設定下での最先端手法（FID: 23.1）を上回った。
• AnimalFaceでは、全クラススプリットでFIDが10未満を維持する安定した訓練が可能だったが、条件付きGANは50kイテレーション目で崩壊した。
• 可視化により、クラス固有の特徴（例：「パンダ」）が訓練の進行に従って段階的に出現することが確認され、段階的条件付けプロセスの有効性が裏付けられた。
• 4つのデータセットすべてで最先端の性能を達成し、FIDと質的サンプルの多様性において一貫した向上が見られた。