[論文レビュー] Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective

Tianlong Chen, Yu Cheng+3 more|arXiv (Cornell University)|Feb 28, 2021

Generative Adversarial Networks and Image Synthesis被引用数 16

ひとこと要約

本稿では、少量の実画像データセットを用いて事前学習済み GAN から特定されたロットリート・チケット（非常にスパースで学習可能なサブネットワーク）を活用する、データ効率の良い GAN 学習フレームワークを提案する。データレベルおよび新規の特徴レベルの増強（AdvAug）を用いて、これらのスパースサブネットワークのみを訓練することで、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet において、学習データの 10–25% のみで最先端の FID スコアを達成し、密な GAN や既存のベースラインを上回った。

ABSTRACT

Training generative adversarial networks (GANs) with limited real image data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation, that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we suggest a brand-new angle towards data-efficient GAN training: by first identifying the lottery ticket from the original GAN using the small training set of real images; and then focusing on training that sparse subnetwork by re-using the same set. We find our coordinated framework to offer orthogonal gains to existing real image data augmentation methods, and we additionally present a new feature-level augmentation that can be applied together with them. Comprehensive experiments endorse the effectiveness of our proposed framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN-V2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet, and multiple few-shot generation datasets). Codes are available at: https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training.

研究の動機と目的

• 限られた実画像データでの高品質な GAN の訓練という課題に取り組む。標準的な訓練ではモード崩壊や性能の低下が生じるためである。
• ロットリート・チケット（スパースで学習可能なサブネットワーク）が、データが少ない状況でも同定可能で、効果的に訓練可能かどうかを検証する。
• 2段階の協調フレームワークを構築する：(i) 小さなデータセットからのロットリート・チケットの同定、(ii) 同定されたサブネットワークのデータ効率の良い訓練。
• 生成器と判別器の両方を正則化するため、中間特徴に敵対的摂動を注入する、新規の特徴レベルの増強（AdvAug）を導入する。
• ロットリート・チケットとデータ増強が、GAN 学習におけるデータ効率性をさらに高めるために直交的に組み合わせ可能であることを示す。

提案手法

• 小さな実画像データセット上で反復的マグニチュードプルーニング（IMP）アルゴリズムを用いて GAN 内のロットリート・チケットを同定し、最大 86.58% のスパarsity を達成する高スパースなサブネットワークを生成する。
• 同定されたスパースサブネットワーク（GAN チケット）を、同じ小さなデータセットで訓練する。ロットリート・チケット仮説を活用することで、安定的かつデータ効率の良い訓練を実現する。
• PGD を用いた敵対的摂動を生成器および判別器の中間特徴に適用する、特徴レベルの増強である AdvAug を導入し、一般化性能を向上させる。
• AdvAug を選択的に適用する。最適なパフォーマンスは、判別器の最終層および生成器の最初の層に摂動を注入した場合に達成される。
• AdvAug を既存のデータレベルの増強（例：ADA、DiffAug）と組み合わせることで、さらに訓練の安定性を高め、性能を向上させる。
• 最適な AdvAug のハイパーパrameterを特定するためのアブレーションスタディを実施し、ステップサイズ（0.01）、PGD ステップ数（1）、レイヤー位置を特定した。

実験結果

リサーチクエスチョン

• RQ1 データが少ない GAN 学習環境において、ロットリート・チケットを効果的に同定・訓練できるか？
• RQ2 同定されたスパースサブネットワークで訓練することで、密な GAN よりもデータ効率が向上するか？
• RQ3 特徴レベルの増強（AdvAug）が、データ効率の良い GAN チケットの性能をさらに向上させられるか？
• RQ4 AdvAug の異なる設定（強度、レイヤー位置）が、訓練の安定性および FID スコアに与える影響は？
• RQ5 提案されたフレームワークは、最小限の実データで多様なデータセットにおいて最先端のパフォーマンスを達成できるか？

主な発見

• CIFAR-10 で学習データの 10% のみを用いた場合、SNGAN チケット（67.24–86.58% のスパarsity）は FID 23.14、BigGAN チケット（同様に 67.24–86.58%）は FID 70.91 を達成し、それぞれの密な対応モデルを上回った。
• Tiny-ImageNet で 10% のデータを用いた場合、BigGAN チケット（36.00% のスパarsity）は FID 23.14、IS 52.98 を達成し、密な GAN を上回った。
• ImageNet で 25% のデータを用いた場合、BigGAN チケット（67.24% のスパarsity）は FID 70.91、IS 7.03 を達成し、大規模ベンチマークでも強力なパフォーマンスを示した。
• 提案された AdvAug 特徴レベルの増強により、CIFAR-10（10% データ）でベースライン比 FID が 3.0 ポints 減少し、データレベルの増強と組み合わせることでさらなる向上が得られた。
• よりスパースな GAN チケット（例：83.22% のスパarsity）は AdvAug に対してより高い感受性を示し、データが少ない環境下での正則化効果が顕著に現れた。
• わずか 100 枚の実サンプルのみで、事前学習を経ない状態でも、転移学習ベースラインと同等の高品質な画像を生成できた。