[論文レビュー] Augmentation-Aware Self-Supervision for Data-Efficient GAN Training

Liang Hou, Qi Cao+8 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、低データ環境下での過学習を軽減するために、自己教師付きの増幅パラメータ予測を用いたデータ効率の良い GAN 訓練手法である AugSelf-GAN を提案する。データの真正性と増幅パラメータ（例：平行移動、カットアウト）の両方を識別器が予測するように訓練し、生成器が増幅に対して予測可能で本物に似たサンプルを生成するように促すことで、CIFAR-10、CIFAR-100、FFHQ、LSUN-Cat、および低ショットデータセットにおいて極めて限られたデータ量の下でも最先端の FID スコアを達成した。

ABSTRACT

Training generative adversarial networks (GANs) with limited data is challenging because the discriminator is prone to overfitting. Previously proposed differentiable augmentation demonstrates improved data efficiency of training GANs. However, the augmentation implicitly introduces undesired invariance to augmentation for the discriminator since it ignores the change of semantics in the label space caused by data transformation, which may limit the representation learning ability of the discriminator and ultimately affect the generative modeling performance of the generator. To mitigate the negative impact of invariance while inheriting the benefits of data augmentation, we propose a novel augmentation-aware self-supervised discriminator that predicts the augmentation parameter of the augmented data. Particularly, the prediction targets of real data and generated data are required to be distinguished since they are different during training. We further encourage the generator to adversarially learn from the self-supervised discriminator by generating augmentation-predictable real and not fake data. This formulation connects the learning objective of the generator and the arithmetic $-$ harmonic mean divergence under certain assumptions. We compare our method with state-of-the-art (SOTA) methods using the class-conditional BigGAN and unconditional StyleGAN2 architectures on data-limited CIFAR-10, CIFAR-100, FFHQ, LSUN-Cat, and five low-shot datasets. Experimental results demonstrate significant improvements of our method over SOTA methods in training data-efficient GANs.

研究の動機と目的

• 限られた訓練データ下での GAN の過学習、特に小さなデータセットにおける識別器の過学習という課題に対処すること。
• 従来のデータ増幅の限界を克服すること。これは、GAN において増幅に対して望ましくない不変性を暗黙的に導入し、表現学習を損なう要因となるためである。
• 自己教師付き識別器を導入することで、本物と生成データを区別するのと同時に、増幅パラメータを予測する能力を学習させることで、データ効率を向上させること。
• 生成器の汎化性能を向上させるために、本物に似ただけでなく、増幅に対して予測可能なサンプルを生成するように訓練することで、自己教師付きの目的関数と整合性を保つこと。
• 特定の仮定の下で、生成器の最適化が算術-調和平均発散に一致することを理論的に示し、原理的根拠を持つ訓練目的を提供すること。

提案手法

• 元の（増幅されていない）入力を文脈として用い、増幅データの真正性（本物／生成）と増幅パラメータ（例：平行移動、カットアウト）を同時に予測する新しい自己教師付き識別器を提案する。
• 特に初期訓練段階における異なるデータ分布ダイナミクスを反映するために、本物データと生成データの両方に対して別々の自己教師付きヘッドを設計する。
• 生成器に二重の目的を導入する：主な識別器を欺くことと、自己教師付き識別器が増幅パラメータを正確に予測できるようにする。
• ある仮定の下で、生成器の訓練目的を、頑健な f-発散（算術-調和平均発散）の最小化として定式化し、理論的根拠に基づく発散最小化と結びつける。
• 微分可能増幅（DiffAugment）を基本的な増幅戦略として採用するが、増幅パラメータに対する自己教師付き信号を追加することで、不変性へのインダクティブバイアスを防ぐ。
• 自己教師付き損失と敵対的損失のバランスを取るハイパーパrameter λ を導入し、さまざまなデータ環境においてハイパーパrameterのチューニングに強い性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 増幅パラメータの自己教師付き予測は、低データ GAN 訓練における識別器の汎化性能を向上させ、過学習を軽減するか？
• RQ2 本物と生成データの自己教師付きターゲットを区別することで、表現学習と生成品質が向上するか？
• RQ3 生成器は増幅に対して予測可能な本物に似たサンプルを生成できるよう訓練可能であり、その結果としてデータ効率が向上するか？
• RQ4 極めて限られたデータ量下で、FID と IS の観点から、SOTA ベースライン（例：DiffAugment、ADA、LeCam-GAN）と比較して本手法はどのように性能を発揮するか？
• RQ5 より強い増幅（例：平行移動＋カットアウト）やハイパーパラメータの選択に対して、本手法は頑健か？

主な発見

• CIFAR-10 で 10% の訓練データを使用した場合、AugSelf-GAN は FID 15.68±.26 を達成し、SOTA の DiffAugment ベースライン（FID 20.60±.13）および固定自己教師付きベースライン（FID 17.66±.55）を上回った。
• CIFAR-100 で 10% の訓練データを使用した場合、AugSelf-GAN は FID 21.30±.15 を達成し、DiffAugment ベースライン（FID 34.92±.63）および固定自己教師付きベースライン（FID 22.84±.28）を顕著に上回った。
• より強い増幅（平行移動＋カットアウト）を適用した場合、CIFAR-10（10% データ）で AugSelf-GAN は FID 12.76±.14 を達成し、DiffAugment（FID 20.93±.21）を上回り、強い増幅に対しても高い頑健性を示した。
• λ の値が高くても（例：λ = 10）本手法は有効であり、CIFAR-10（10% データ）で FID 15.68±.26 を維持した。これは、ベースライン手法と比較して顕著なハイパーパラメータの頑健性を示している。
• 5 つの低ショット画像生成ベンチマークにおいて、AugSelf-GAN は FID と IS において一貫した改善を示し、極めて限られたデータ環境下での有効性を確認した。
• 理論的分析により、生成器の目的関数が弱い仮定の下で算術-調和平均発散の最小化を近似することが確認され、分布の整合性への原理的リンクを提供した。