[論文レビュー] Self-Supervised GANs with Label Augmentation

Liang Hou, Huawei Shen+2 more|arXiv (Cornell University)|Jun 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 7

ひとこと要約

本稿では、自己教師ありGANにラベル拡張を組み合わせた新しい手法であるSelf-Supervised GANs with Label Augmentation (SSGAN-LA) を提案する。この手法は、実画像／偽物ラベルに変換に基づく偽ラベルを追加することで、ジェネレータの学習を安定化させ、真のデータ分布に収束させる。このアプローチにより、識別器は一貫した勾配を提供し、深刻な忘却を防ぎ、CIFAR-10およびCIFAR-100において、フルデータおよび限られたデータ環境下でも最先端のFIDおよびISスコアを達成する。

ABSTRACT

Recently, transformation-based self-supervised learning has been applied to generative adversarial networks (GANs) to mitigate catastrophic forgetting in the discriminator by introducing a stationary learning environment. However, the separate self-supervised tasks in existing self-supervised GANs cause a goal inconsistent with generative modeling due to the fact that their self-supervised classifiers are agnostic to the generator distribution. To address this problem, we propose a novel self-supervised GAN that unifies the GAN task with the self-supervised task by augmenting the GAN labels (real or fake) via self-supervision of data transformation. Specifically, the original discriminator and self-supervised classifier are unified into a label-augmented discriminator that predicts the augmented labels to be aware of both the generator distribution and the data distribution under every transformation, and then provide the discrepancy between them to optimize the generator. Theoretically, we prove that the optimal generator could converge to replicate the real data distribution. Empirically, we show that the proposed method significantly outperforms previous self-supervised and data augmentation GANs on both generative modeling and representation learning across benchmark datasets.

研究の動機と目的

• 生成器の進化に起因する非定常な学習環境によって引き起こされるGANにおける深刻な忘却を解消すること。
• 既存の自己教師ありGANにおける目的の不一致を解消すること。具体的には、自己教師あり分類器が生成器の分布を無視している点を是正すること。
• 元のGANの目的と自己教師ありタスクを、ハイパーパramータのトレードオフを伴わずに、単一の多クラス分類フレームワークに統合すること。
• やや弱い仮定のもとで、最適なジェネレータが真のデータ分布を再現することを理論的に保証すること。
• ベンチマークデータセットを用いた実験を通じて、生成モデルと表現学習の両面で優れた性能を示すこと。

提案手法

• 実画像／偽物ラベルに、回転やクロップなどの変換に基づく偽ラベルを追加し、多クラスラベルを構成する。
• 入力に適用された変換と、実画像／偽物ラベルの両方を予測する、ラベル拡張済み識別器を訓練する。
• 識別器の損失を、実画像／偽物ラベルと変換の組み合わせからなるラベル空間における多クラス交差エントロピーとして定式化する。
• 各変換下での実データ分布と生成データ分布の乖離を、最適な識別器が捉えたものを利用して、ジェネレータの学習をガイドする。
• 識別器のフィードバックを通じて、実データ分布と生成データ分布の逆Kullback–Leibler散発を最小化するようにジェネレータを最適化する。
• 別個の自己教師ありとGANの目的を廃止し、損失重みの調整に必要なハイパーパramータチューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 GANと自己教師あり学習を統合した多クラス分類タスクが、識別器の学習を安定化させ、深刻な忘却を防げるか？
• RQ2 変換下での生成器分布とデータ分布を両方認識するラベル拡張済み識別器は、ジェネレータにより情報量の多い勾配を提供するか？
• RQ3 本手法は、損失重みの調整に追加のハイパーパramータチューニングを要せず、真のデータ分布への理論的収束を達成できるか？
• RQ4 FID、IS、表現学習の観点から、既存の自己教師ありGANおよびデータ拡張技術と比較して、本手法はどのように性能を発揮するか？
• RQ5 本手法は、限られたデータ設定を含むさまざまなデータ環境に一般化可能か？

主な発見

• SSGAN-LAは、BigGANバックボーンを用いて、フルデータおよび限られたデータ環境下でCIFAR-10およびCIFAR-100において最先端のFIDおよびISスコアを達成した。
• CIFAR-10で100%のデータを使用した場合、SSGAN-LAはFID 8.05、IS 9.30を達成し、先行研究の最良手法（BigGAN + DiffAugment）のFID 8.70、IS 9.16を上回った。
• CIFAR-10で20%のデータのみを使用した場合、SSGAN-LAはFIDを14.04から11.16に、ISを8.65から8.84に改善し、優れたデータ効率性を示した。
• CIFAR-100で10%のデータを使用した場合、SSGAN-LAはFID 23.17、IS 9.81を達成し、ベースラインのFID 33.70、IS 8.38を著しく上回った。
• より複雑で統合された学習タスクであるため、ラベル拡張済み識別器は標準的な識別器よりも過学習のリスクが低い。
• 理論的分析により、やや弱い仮定のもとで最適なジェネレータが真のデータ分布を再現することを保証した。