[论文解读] High-Fidelity Image Generation With Fewer Labels
本文表明自监督与半监督学习可以在显著少量标签的情况下实现高保真 ImageNet 图像生成，达到甚至超过 BigGAN，使用仅 10% 的标签，且 20% 标签即可达到最先进的 FID/IS。
Deep generative models are becoming a cornerstone of modern machine learning. Recent work on conditional generative adversarial networks has shown that learning complex, high-dimensional distributions over natural images is within reach. While the latest models are able to generate high-fidelity, diverse natural images at high resolution, they rely on a vast quantity of labeled data. In this work we demonstrate how one can benefit from recent work on self- and semi-supervised learning to outperform the state of the art on both unsupervised ImageNet synthesis, as well as in the conditional setting. In particular, the proposed approach is able to match the sample quality (as measured by FID) of the current state-of-the-art conditional model BigGAN on ImageNet using only 10% of the labels and outperform it using 20% of the labels.
研究动机与目标
- 证明自监督学习如何提供语义特征来引导 GAN 训练。
- 研究半监督标签用于在有限真实标签的条件下推断 GAN 的条件信息。
- 评估预训练和协同训练方法在减少标注数据的同时保持高样本质量。
- 评估在 GAN 训练中进行自监督作为高保真图像合成的稳定因素。
提出的方法
- 以有条件 BigGAN 架构为骨干实现高保真 ImageNet 生成。
- 探索三类标签减少方法： (i) 预训练的自监督/半监督方法，结合聚类或线性分类器；(ii) 协同训练，在 GAN 训练期间由辅助分类器对未标注数据预测标签；(iii) 在 GAN 训练过程中对判别器加入自监督。
- 将基于旋转的自监督作为判别器和生成器损失的辅助任务。
- 在投影判别器中尝试硬标签与软标签，并研究在 5%、10%、20% 标注数据下的稳定性。
- 在 ImageNet 的 128x128 和 256x256 分辨率下，用 FID 和 Inception Score (IS) 进行评估。
- 提供开源代码以实现可复现实验。
实验结果
研究问题
- RQ1自监督表示是否能够在标签有限的情况下实现高保真 ImageNet 生成？
- RQ2预训练、协同训练和自监督目标在减少标签数据的同时保持或改善样本质量方面的比较？
- RQ3在有限标签条件下的高分辨率 GAN 训练中，自监督是否能够提升稳定性？
主要发现
- 使用自监督表示进行聚类在无监督 ImageNet 生成方面达到新的最先进水平，相较于基础无监督设置降低 FID、提升 IS。
- 预训练的半监督 S2 GAN 在 20% 标签数据时与 BigGAN 相当，在 10% 标签时也接近。
- 协同训练 S2 GAN-CO 在不同标签比例下优于无监督基线，20% 标签达到 FID 13.9 和 IS 49.2，接近有监督基线。
- 在 GAN 训练中进行自监督（S3 GAN）在 10% 标签时达到并匹配 BigGAN，20% 标签时超过它，在若干设置下 FID 提升约 5–10%。
- 在若干配置中，硬标签（预测）优于软标签，且自监督在各方法中始终改善稳定性和样本质量。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。