[论文解读] Self-supervised GAN: Analysis and Improvement with Multi-class Minimax Game

Ngoc-Trung Tran, Viet-Hung Tran+3 more|arXiv (Cornell University)|Nov 16, 2019

Human Pose and Action Recognition被引用 43

一句话总结

本论文分析现有自监督任务如何与GAN训练相互作用，揭示一种可能导致模式崩溃的漏洞，并提出一个多类极小极大自监督游戏以改善GAN收敛并在多个数据集上实现强FID。

ABSTRACT

Self-supervised (SS) learning is a powerful approach for representation learning using unlabeled data. Recently, it has been applied to Generative Adversarial Networks (GAN) training. Specifically, SS tasks were proposed to address the catastrophic forgetting issue in the GAN discriminator. In this work, we perform an in-depth analysis to understand how SS tasks interact with learning of generator. From the analysis, we identify issues of SS tasks which allow a severely mode-collapsed generator to excel the SS tasks. To address the issues, we propose new SS tasks based on a multi-class minimax game. The competition between our proposed SS tasks in the game encourages the generator to learn the data distribution and generate diverse samples. We provide both theoretical and empirical analysis to support that our proposed SS tasks have better convergence property. We conduct experiments to incorporate our proposed SS tasks into two different GAN baseline models. Our approach establishes state-of-the-art FID scores on CIFAR-10, CIFAR-100, STL-10, CelebA, Imagenet $32 imes32$ and Stacked-MNIST datasets, outperforming existing works by considerable margins in some cases. Our unconditional GAN model approaches performance of conditional GAN without using labeled data. Our code: https://github.com/tntrung/msgan

研究动机与目标

• 了解现有自监督任务如何影响GAN中生成器的学习。
• 找出当前SS-task设计中可能导致模式崩溃的薄弱点。
• 开发一个鲁棒的自监督框架，稳定GAN训练并改进分布匹配。
• 在多种无条件GAN基线和数据集上展示经验提升。

提出的方法

• 在最优判别器和分类器下，分析GAN目标与SS任务 Ψ(G,C) 与 Φ(G,C) 的相互作用。
• 证明现有的SS任务可能被模式崩溃的G利用，以最大化 Φ(G,C) 而不学习 P_d。
• 引入基于多类极小极大博弈的 Ψ^{+}(G,C) 与 Φ^{+}(G,C)，以耦合GAN与SS任务。
• 推导理论结果，显示通过旋转（转换）样本得到的更好收敛性与分布匹配。
• 给出证明，新的目标中的基于KL的项使生成器更新与 P_g 与 P_d 的匹配保持一致。
• 在 CIFAR-10/100、STL-10、CelebA、ImageNet32×32 以及 Stacked-MNIST 上进行实证验证。

实验结果

研究问题

• RQ1 现有自监督任务在生成器训练期间如何与GAN目标相互作用？
• RQ2 当前SS-task设计在防止模式崩溃和确保数据分布覆盖方面有哪些局限？
• RQ3 多类极小极大自监督框架能否改善无条件GAN的收敛性和样本多样性？
• RQ4 旋转/转换样本是否能增强反馈信号，使P_g更好地与P_d对齐？

主要发现

• 现有的SS任务可能被生成器利用，以最大化SS损失而不学习数据分布，存在模式崩溃的风险。
• 提出的多类极小极大SS任务产生更强的反馈，促进 P_g 与 P_d 更好匹配。
• 理论分析显示由于在SS博弈中利用旋转样本，收敛性与分布匹配得到改善。
• 实证结果在多种基线下，在 CIFAR-10、CIFAR-100、STL-10、CelebA、ImageNet32×32 与 Stacked-MNIST 上取得最先进的FID分数。
• 采用 MS 方法的无条件GAN在某些条件GAN的性能水平上，无需使用标签。