[論文レビュー] Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly.

Tianlong Chen, Yu Cheng+3 more|arXiv (Cornell University)|Feb 28, 2021

Generative Adversarial Networks and Image Synthesis参考文献 83被引用数 15

ひとこと要約

本稿では、事前学習済みのGANからスパースで独立して学習可能なロトターゲットサブネットワークを特定し、その後同じ少数の実画像セットを用いてデータ拡張および特徴拡張を活用して積極的にこのサブネットワークを訓練する二段階の超データ効率的GAN学習フレームワークを提案する。本手法は、100枚の実画像からのみ高精細な画像生成を達成し、事前学習を必要とせず、複数のGANアーキテクチャおよびデータセットにおいて強力な少サンプル一般化性能を示している。

ABSTRACT

Training generative adversarial networks (GANs) with limited data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation of Kalibhat et al. (2020); Chen et al.(2021d), that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we decompose the data-hungry GAN training into two sequential sub-problems: (i) identifying the lottery ticket from the original GAN; then (ii) training the found sparse subnetwork with aggressive data and feature augmentations. Both sub-problems re-use the same small training set of real images. Such a coordinated framework enables us to focus on lower-complexity and more data-efficient sub-problems, effectively stabilizing training and improving convergence. Comprehensive experiments endorse the effectiveness of our proposed ultra-data-efficient training framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet). Besides, our training framework also displays powerful few-shot generalization ability, i.e., generating high-fidelity images by training from scratch with just 100 real images, without any pre-training. Codes are available at: this https URL.

研究の動機と目的

• 限られた実画像データでの学習において、GANの性能が低く、モード崩壊が生じるという課題に対処すること。
• GAN内に存在するロットターゲット（スパースで学習可能なサブネットワーク）の誘導的バイアスを活用し、データ効率を向上させること。
• データ集約的なGAN学習を、二つの逐次的でデータ効率の良い部分問題に分解すること：ロットターゲットの特定と集中した訓練。
• 100枚の実画像のみを用いて、スクラッチから高精細な画像生成を可能とすること。
• 本フレームワークが、SNGAN、BigGAN、StyleGAN2といった多様なGANアーキテクチャおよびCIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNetといったデータセットにおいて、事前学習やアーキテクチャの変更なしに汎用性を示すことを検証すること。

提案手法

• ロットターゲット仮説に従い、反復的マグニチュードプルーニングと再訓練を用いて、事前学習済みのGAN内からロットターゲットサブネットワークを同定する。
• ロットターゲットの同定とその後の訓練の両方で、同じ少数の実画像セットを用いることで、データの重複を最小限に抑える。
• 第二段階の訓練段階で、積極的なデータ拡張（例：ランダムクロッピング、カラージッタリング）および特徴レベルの拡張を適用する。
• 収束性と安定性を向上させるために、高い学習率と強い正則化を用いて同定されたスパースサブネットワークを訓練する。
• 両段階で同じトレーニングセットを再利用することで、データ効率を確保するとともに、データ漏洩を回避する。
• 複数のGANアーキテクチャに本フレームワークを適用し、多様なデータセットにおいて一貫した性能向上を達成する。

実験結果

リサーチクエスチョン

• RQ1 GAN内で同定されたロットターゲットが、学習のデータ効率を向上させる誘導的事前知識として機能するか。
• RQ2 少数の実画像セットからスパースサブネットワークを同定し、それに対して訓練を施すことで、収束性が向上し、モード崩壊が軽減されるか。
• RQ3 本フレームワークを用いて、スクラッチから100枚の実画像のみで学習したGANが、どの程度の高精細な画像を生成できるか。
• RQ4 複数のデータセットおよびアーキテクチャにおいて、標準的なGAN学習と比較して、本手法のFIDおよびインセプションスコアの観点での性能はどの程度か。
• RQ5 本フレームワークは、事前学習やアーキテクチャの変更なしに、多様なGANアーキテクチャおよび画像データセットに汎用的に適用可能か。

主な発見

• 提案フレームワークは、事前学習を一切行わず、わずか100枚の実画像からのみ高精細な画像生成を達成する最先端の少サンプル生成性能を実現した。
• 本手法は、訓練の安定性と収束性を顕著に向上させ、限られたデータでもモード崩壊を著しく軽減した。
• CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNetにおいて、Fréchet Inception Distance (FID) スコアが競争力を持ち、100枚の実画像からのみの学習でも優れた性能を示した。
• SNGAN、BigGAN、StyleGAN2で同定されたロットターゲットサブネットワークは、それぞれ独立して学習可能であり、アーキテクチャを問わず一貫した性能向上を達成した。
• 第二段階の訓練段階で積極的なデータおよび特徴拡張を適用することで、標準的な訓練と比較して生成サンプルの品質が顕著に向上した。
• 本フレームワークは、多様なデータセットおよびGANアーキテクチャにわたり強力な一般化性能を維持しており、耐障害性とスケーラビリティを示した。