[论文解读] MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network

Jiaze Sun, Binod Bhattarai+1 more|arXiv (Cornell University)|Jun 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 5

一句话总结

MatchGAN 提出了一种自监督半监督条件生成对抗网络，通过标签空间增强生成合成训练样本，从而在极少标注数据下实现性能提升。通过为未标注图像随机分配目标标签，并在判别器上训练三元组匹配损失，MatchGAN 在 CelebA 和 RaFD 上仅使用 20% 的标注数据即超越了完整监督基线模型。

ABSTRACT

We present a novel self-supervised learning approach for conditional generative adversarial networks (GANs) under a semi-supervised setting. Unlike prior self-supervised approaches which often involve geometric augmentations on the image space such as predicting rotation angles, our pretext task leverages the label space. We perform augmentation by randomly sampling sensible labels from the label space of the few labelled examples available and assigning them as target labels to the abundant unlabelled examples from the same distribution as that of the labelled ones. The images are then translated and grouped into positive and negative pairs by their target labels, acting as training examples for our pretext task which involves optimising an auxiliary match loss on the discriminator's side. We tested our method on two challenging benchmarks, CelebA and RaFD, and evaluated the results using standard metrics including Fréchet Inception Distance, Inception Score, and Attribute Classification Rate. Extensive empirical evaluation demonstrates the effectiveness of our proposed method over competitive baselines and existing arts. In particular, our method surpasses the baseline with only 20% of the labelled examples used to train the baseline.

研究动机与目标

• 解决在面部属性和表情编辑任务中因标注数据有限而带来的训练条件生成对抗网络的挑战。
• 克服现有自监督方法依赖几何图像增强的局限性，这些方法无法生成新的类别条件样本。
• 通过引入基于标签空间操作的新前置任务，提升半监督生成对抗网络训练的泛化能力并减少过拟合。
• 通过为未标注数据分配合成目标标签并训练判别性匹配目标，实现有效的数据增强。

提出的方法

• 通过从标签空间中随机采样目标标签分配给来自与标注数据相同分布的未标注图像，生成合成训练样本。
• 构建图像三元组——源图像、带有目标标签的生成图像，以及带有不同目标标签的另一张生成图像——用于生成器和判别器的训练。
• 引入辅助匹配损失，通过在拼接嵌入上使用学习的卷积头，将图像对分类为正样本（相同目标标签）或负样本（不同目标标签）。
• 使用交叉熵损失而非铰链损失或欧氏距离损失来优化匹配损失，从而实现更精确的概率估计并提升判别能力。
• 使用来自小规模标注数据集的真实图像三元组和来自未标注数据的合成三元组联合训练判别器，实现从真实样本到合成样本的知识蒸馏。
• 将匹配损失与标准生成对抗网络目标相结合，使模型能够在无需额外监督的情况下学习解耦的、类别条件的表征。

实验结果

研究问题

• RQ1 基于标签空间增强的自监督学习是否能在标注数据极少的半监督设置下提升条件生成对抗网络的性能？
• RQ2 与基于几何增强的自监督方法相比，通过标签空间操作生成的合成样本是否能带来更好的泛化能力和更低的过拟合？
• RQ3 基于学习嵌入对比的匹配损失是否能在生成高保真、属性可控图像方面优于标准生成对抗网络损失？
• RQ4 MatchGAN 在多大程度上能够减少面部属性和表情编辑任务中对大规模标注数据集的依赖？

主要发现

• 在仅使用 20% 标注数据训练时，MatchGAN 在 CelebA 上的 Fréchet Inception Distance (FID) 达到 6.34，优于完整监督基线模型在 100% 标注数据下的 6.65。
• 在 RaFD 上，MatchGAN 使用 20% 标注数据时 FID 达到 6.65，优于基线模型在 100% 数据下的 7.24，也优于基于旋转的增强方法在 100% 数据下的 6.57。
• 在 CelebA 上，MatchGAN 使用 20% 数据时的 Inception Score (IS) 达到 3.03，高于基线模型在 100% 数据下的 3.01，表明样本质量和多样性更优。
• 在 CelebA 上，MatchGAN 的 GAN 训练分类准确率达到 87.43%（基线为 87.29%）；在 RaFD 上达到 97.78%（基线为 95.00%），表明下游分类器性能更优。
• 定性结果表明，与基线相比，MatchGAN 生成的图像更清晰、更连贯，且伪影更少，尤其在低数据设置下表现更优。
• 随着标注数据增加，模型性能显著提升，20% 标注数据下的 MatchGAN 结果在视觉质量与属性一致性方面达到或超过基线模型在 100% 数据下的表现。