[论文解读] Self-Supervised GAN to Counter Forgetting

Ting Chen, Xiaohua Zhai+1 more|arXiv (Cornell University)|Oct 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 22被引用 8

一句话总结

本文提出一种自监督 GAN，通过在判别器中引入基于旋转的自监督损失，缓解持续训练中判别器的灾难性遗忘问题。该方法在无标签条件下提升表征学习能力，其性能与条件 GAN 相当，并在下游图像分类任务中优于标准 GAN。

ABSTRACT

GANs involve training two networks in an adversarial game, where each network's task depends on its adversary. Recently, several works have framed GAN training as an online or continual learning problem. We focus on the discriminator, which must perform classification under an (adversarially) shifting data distribution. When trained on sequential tasks, neural networks exhibit \emph{forgetting}. For GANs, discriminator forgetting leads to training instability. To counter forgetting, we encourage the discriminator to maintain useful representations by adding a self-supervision. Conditional GANs have a similar effect using labels. However, our self-supervised GAN does not require labels, and closes the performance gap between conditional and unconditional models. We show that, in doing so, the self-supervised discriminator learns better representations than regular GANs.

研究动机与目标

• 解决持续 GAN 训练中判别器灾难性遗忘的问题，即当判别器暴露于分布变化的数据时性能下降。
• 提升无条件 GAN 中的表征学习能力，因其缺乏监督而通常表现不如条件 GAN。
• 在不依赖标签或显式记忆回放的前提下，缩小无条件 GAN 与条件 GAN 之间的性能差距。
• 证明自监督表征学习可同时提升 GAN 训练的稳定性与下游分类准确率。

提出的方法

• 向判别器引入基于旋转的自监督损失，使其作为辅助任务预测输入图像的旋转角度。
• 在判别器训练过程中，将标准 GAN 损失与旋转预测损失相结合，以促进稳定且有意义的特征表示。
• 对 GAN 目标和自监督旋转任务使用相同的判别器架构，避免引入额外参数。
• 在持续学习设置下训练判别器，其中生成器的分布随时间演变，以模拟非平稳数据。
• 通过在判别器不同残差块的特征图上训练线性分类器来评估表征质量。
• 采用标准训练协议：使用批量归一化的 SGD，学习率衰减，以及在验证集上进行早停以用于线性评估。

实验结果

研究问题

• RQ1 自监督能否在不依赖标签的情况下提升无条件 GAN 中判别器的表征学习能力？
• RQ2 在持续 GAN 训练中，添加基于旋转的自监督损失是否能减少判别器的灾难性遗忘？
• RQ3 与标准 GAN 和条件 GAN 相比，自监督 GAN 在下游图像分类任务中的准确率提升程度如何？
• RQ4 在 ImageNet 上，该方法与其他自监督表征学习方法相比，在特征质量方面表现如何？

主要发现

• 在 CIFAR-10 上，SsGAN 使用第 2 个残差块的特征获得 0.796 ± 0.005 的 top-1 准确率，优于 SN-GAN（0.778 ± 0.001）和 P-cGAN（0.776 ± 0.005）。
• 在 ImageNet 上，SsGAN 在第 5 个残差块上达到 0.353 ± 0.006 的 top-1 准确率，超过 P-cGAN（0.324 ± 0.007），并达到与最先进自监督方法（如 RotNet：0.387 和 BiGAN：0.310）相当的性能。
• SsGAN 的表征质量在 100 万训练步长内持续提升，而 P-cGAN 和 SsGAN 的表征则在 20 万步后趋于饱和。
• 尽管未使用标签，SsGAN 模型成功缩小了无条件 GAN 与条件 GAN 在图像生成和表征学习方面的性能差距。
• 仅使用旋转的基线方法（Rotation）在 CIFAR-10 的第 0 个残差块上获得 0.710 ± 0.002 的 top-1 准确率，表明自监督本身即可显著提升表征质量，优于标准 GAN。
• SsGAN 在 ImageNet 上达到 0.359 的 top-1 准确率，优于 Context（0.317）、Colorization（0.315）和 RotNet（0.387），证明其具备具有竞争力的表征学习能力。