[論文レビュー] Self-supervised GAN: Analysis and Improvement with Multi-class Minimax Game

Ngoc-Trung Tran, Viet-Hung Tran+3 more|arXiv (Cornell University)|Nov 16, 2019

Human Pose and Action Recognition被引用数 43

ひとこと要約

この論文は、既存の自己教師付きタスクがGANの訓練にどのように相互作用するかを分析し、モード崩壊を可能にする抜け穴を明らかにし、GANの収束を改善し複数のデータセットで強力なFIDスコアを達成する多クラスミニマックス自己教師付きゲームを提案する。

ABSTRACT

Self-supervised (SS) learning is a powerful approach for representation learning using unlabeled data. Recently, it has been applied to Generative Adversarial Networks (GAN) training. Specifically, SS tasks were proposed to address the catastrophic forgetting issue in the GAN discriminator. In this work, we perform an in-depth analysis to understand how SS tasks interact with learning of generator. From the analysis, we identify issues of SS tasks which allow a severely mode-collapsed generator to excel the SS tasks. To address the issues, we propose new SS tasks based on a multi-class minimax game. The competition between our proposed SS tasks in the game encourages the generator to learn the data distribution and generate diverse samples. We provide both theoretical and empirical analysis to support that our proposed SS tasks have better convergence property. We conduct experiments to incorporate our proposed SS tasks into two different GAN baseline models. Our approach establishes state-of-the-art FID scores on CIFAR-10, CIFAR-100, STL-10, CelebA, Imagenet $32 imes32$ and Stacked-MNIST datasets, outperforming existing works by considerable margins in some cases. Our unconditional GAN model approaches performance of conditional GAN without using labeled data. Our code: https://github.com/tntrung/msgan

研究の動機と目的

• 既存の自己教師付きタスクがGANの生成器の学習にどのように影響するかを理解する。
• モード崩壊を招く可能性のある現在のSSタスク設計の弱点を特定する。
• GANの訓練を安定化させ、分布の一致を改善する堅牢な自己教師付きフレームワークを開発する。
• さまざまな無条件 GAN ベースラインとデータセットで実証的な改善を示す。

提案手法

• 最適な識別器と分類器の下で、GAN目的関数とSSタスク Ψ(G,C) および Φ(G,C) の相互作用を分析する。
• モード崩壊したGが P_d を学習せずに Φ(G,C) を最大化するよう、既存のSSタスクが悪用され得ることを示す。
• GANとSSタスクを結びつけるため、マルチクラスミニマックスゲームに基づく Ψ^{+}(G,C) および Φ^{+}(G,C) を導入する。
• 回転（変換）サンプルを用いた場合の収束性と分布一致の改善を示す理論的結果を導出する。
• 新しい目的関数におけるKLベースの項が、生成器の更新を P_g と P_d の一致へ導くことを証明する。
• CIFAR-10/100, STL-10, CelebA, ImageNet32×32, Stacked-MNIST で経験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 既存の自己教師付きタスクは、生成器の訓練中にGANの目的関数とどのように相互作用するか？
• RQ2 モード崩壊の防止とデータ分布のカバー率確保における、現在の SSタスク設計の限界は何か？
• RQ3 多クラスミニマックス自己教師付きフレームワークは、無条件GANの収束とサンプル多様性を改善できるか？
• RQ4 回転/変換されたサンプルは、P_g と P_d の整合性を高めるフィードバック信号を強化するか？

主な発見

• 既存のSSタスクは、データ分布を学習せずにSS損失を最大化するように生成器によって悪用され、モード崩壊のリスクを生じさせる。
• 提案された多クラスミニマックスSSタスクは、P_gとP_dのより良い比較を促すより強いフィードバックを生み出す。
• SSゲームで回転サンプルを活用することによる収束利得と分布一致の改善を理論的に示す。
• 複数のベースラインにおいて CIFAR-10, CIFAR-100, STL-10, CelebA, ImageNet32×32, Stacked-MNIST で最先端のFIDスコアを示す。
• MSアプローチを用いた無条件GANは、ラベルを使用せずにいくつかの条件付きGANの性能に近づく。