[論文レビュー] An Improved Self-supervised GAN via Adversarial Training

Ngoc-Trung Tran, Viet-Hung Tran+2 more|arXiv (Cornell University)|May 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 9

ひとこと要約

本稿では、自己教師あり学習による幾何的変換を用いた実画像の分類を discriminator に学習させるとともに、偽物のサンプルをこれらの擬似クラスから区別するように訓練することで、生成器の品質を向上させる改善された自己教師あり GAN を提案する。生成器は、変換された偽物のサンプルにおける交差エントロピー損失を最小化するように訓練され、実サンプルの表現と一致させる。本手法は、訓練の安定化とモードカバレッジの向上により、CIFAR-10 および STL-10 で新たな SOTA FID スコアを達成する。

ABSTRACT

We propose to improve unconditional Generative Adversarial Networks (GAN) by training the self-supervised learning with the adversarial process. In particular, we apply self-supervised learning via the geometric transformation on input images and assign the pseudo-labels to these transformed images. (i) In addition to the GAN task, which distinguishes data (real) versus generated (fake) samples, we train the discriminator to predict the correct pseudo-labels of real transformed samples (classification task). Importantly, we find out that simultaneously training the discriminator to classify the fake class from the pseudo-classes of real samples for the classification task will improve the discriminator and subsequently lead better guides to train generator. (ii) The generator is trained by attempting to confuse the discriminator for not only the GAN task but also the classification task. For the classification task, the generator tries to confuse the discriminator recognizing the transformation of its output as one of the real transformed classes. Especially, we exploit that when the generator creates samples that result in a similar loss (via cross-entropy) as that of the real ones, the training is more stable and the generator distribution tends to match better the data distribution. When integrating our techniques into a state-of-the-art Auto-Encoder (AE) based-GAN model, they help to significantly boost the model's performance and also establish new state-of-the-art Fréchet Inception Distance (FID) scores in the literature of unconditional GAN for CIFAR-10 and STL-10 datasets.

研究の動機と目的

• 無条件 GAN におけるモード崩壊と勾配消失を解消するため、より強力な監視信号を導入すること。
• 変換された実画像からの擬似ラベルで訓練することで、discriminator の一般化能力を向上させること。
• 変換された偽物と実物のサンプルの交差エントロピー損失を一致させることで、生成器の品質を向上させること。
• GAN と自己教師あり分類の目的関数を組み合わせることで、訓練の安定化と GAN に一般的に見られる発散問題の低減を図ること。
• 条件付き監視なしに、CIFAR-10 および STL-10 で SOTA の FID 性能を達成すること。

提案手法

• 実画像に幾何的変換（例：回転）を適用し、自己教師あり学習用に擬似ラベルを割り当てる。
• discriminator を、2つのタスクを同時に学習するように訓練する：(1) 実物 vs. 偽物のサンプルを区別する（元の GAN タスク）、(2) 変換された実画像の擬似ラベルを分類する（自己教師あり分類）。
• 偽物の変換済みサンプルを、実物の擬似ラベルの1つとして分類させるように discriminator を訓練することで、discriminator に対する対抗的訓練信号を生成する。
• 生成器を、変換された偽物のサンプルに対する分類ヘッドにおける交差エントロピー損失を最小化するように訓練し、生成されたサンプルが実サンプルの表現と一致するようにする。
• 自己教師あり分類損失を GAN 損失と重み付き組み合わせにより統合し、各アーキテクチャに合わせてハイパーパramータ λd と λg を調整する。
• GAN と自己教師ありコンponent間で特徴抽出器を共有することで、表現学習の一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 幾何的変換による自己教師あり学習は、無条件 GAN における discriminator の一般化能力を向上させることができるか？
• RQ2 偽物の変換済みサンプルに対して discriminator を対抗的に訓練することで、モデル性能が向上するか？
• RQ3 実物と偽物の変換済みサンプルの交差エントロピー損失を一致させることで、訓練の安定化とサンプル品質の向上が図れるか？
• RQ4 提案手法は、条件付き監視なしに CIFAR-10 および STL-10 で SOTA の FID スコアを達成できるか？
• RQ5 ハイパーパramータ λd と λg は、異なるアーキテクチャにおいて性能にどのように影響を与えるか？

主な発見

• 提案手法は、CIFAR-10 および STL-10 で新たな SOTA FID スコアを達成し、ベースライン GAN や SSGAN などの先行自己教師あり GAN より顕著に優れている。
• 自己教師ありベースライン単体でも、標準 GAN より FID が向上しており、幾何的変換による擬似ラベル化の有効性が示された。
• 偽物の変換済みサンプルに対する discriminator の対抗的訓練により、より頑健な discriminator とより良い生成器のガイドラインが得られた。
• 実物と偽物の変換済みサンプルの交差エントロピー損失を一致させることで、訓練の安定化とモードカバレッジの向上が図られた。
• 特に、ResNet などの深層アーキテクチャでは、ベースラインモデルが飽和し始めた後でも、発散問題の低減が見られた。
• DCGAN および ResNet では λg ≈ λd/10、SN-GAN では λg ≈ λd/50 が、CIFAR-10 および STL-10 で最良の性能を発揮することが判明した。