[论文解读] Generative Models as a Data Source for Multiview Representation Learning

Ali Jahanian, Xavier Puig+2 more|arXiv (Cornell University)|Jun 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 68被引用 6

一句话总结

本文提出从由预训练生成模型生成的合成数据中学习通用视觉表征，通过潜在空间变换生成多视图数据以进行对比学习。结果表明，只要采用细致的采样和训练策略，基于此类合成数据训练的表征性能可与真实数据训练的表征相媲美甚至超越。

ABSTRACT

Generative models are now capable of producing highly realistic images that look nearly indistinguishable from the data on which they are trained. This raises the question: if we have good enough generative models, do we still need datasets? We investigate this question in the setting of learning general-purpose visual representations from a black-box generative model rather than directly from data. Given an off-the-shelf image generator without any access to its training data, we train representations from the samples output by this generator. We compare several representation learning methods that can be applied to this setting, using the latent space of the generator to generate multiple "views" of the same semantic content. We show that for contrastive methods, this multiview data can naturally be used to identify positive pairs (nearby in latent space) and negative pairs (far apart in latent space). We find that the resulting representations rival or even outperform those learned directly from real data, but that good performance requires care in the sampling strategy applied and the training method. Generative models can be viewed as a compressed and organized copy of a dataset, and we envision a future where more and more "model zoos" proliferate while datasets become increasingly unwieldy, missing, or private. This paper suggests several techniques for dealing with visual representation learning in such a future. Code is available on our project page https://ali-design.github.io/GenRep/.

研究动机与目标

• 探究是否可以在不访问原始训练数据的情况下，仅通过黑箱生成模型生成的合成数据学习到有效的视觉表征。
• 评估在预训练生成模型生成的样本上训练时，对比学习与非对比学习表征学习方法的有效性。
• 探索生成模型中的潜在空间变换如何生成有意义的多视图数据以用于表征学习。
• 评估不同采样策略与训练目标对下游迁移性能的影响。

提出的方法

• 将预训练生成模型（如 BigBiGAN、BigGAN、StyleGAN）作为数据源，不访问原始训练数据即可采样图像。
• 通过在潜在空间中应用变换（如高斯噪声、基于风格的控制）生成同一语义内容的多个视图，而非在像素空间中进行变换。
• 利用潜在向量之间的接近程度定义正样本对，利用其距离定义对比学习目标中的负样本对。
• 在生成的数据上应用标准对比学习框架（如 SimCLR）和监督对比学习，以模型自身的潜在空间作为视图多样性的来源。
• 在多个下游任务上，将基于生成模型合成数据训练的模型性能与基于真实 ImageNet 数据训练的模型进行比较。
• 使用线性探测方法在 ImageNet100、VOC07 分类和 VOC07 检测任务上评估迁移性能。

实验结果

研究问题

• RQ1 是否可以在不访问原始训练数据的情况下，仅通过黑箱生成模型生成的合成数据有效学习视觉表征？
• RQ2 不同的潜在空间变换策略（如高斯噪声、基于风格的控制）如何影响对比学习中多视图数据的质量？
• RQ3 在生成模型生成的合成数据上训练的表征能否实现与真实数据相当或更优的性能？
• RQ4 在使用生成模型输出作为训练数据时，哪些采样与训练策略最有效以最大化表征质量？
• RQ5 生成模型生成的合成数据在表征学习中在多大程度上可以有效补充真实数据？

主要发现

• 在 BigBiGAN 生成的合成数据上训练的对比表征学习方法在 ImageNet100 上达到 61.52% 的 top-1 准确率，接近真实数据实现的 81.18%。
• 与无变换相比，使用潜在空间变换（如高斯噪声或基于风格的控制）提升了性能，其中高斯噪声表现最佳（top-1 准确率为 60.74%）。
• 对于类条件模型如 BigGAN，基于生成数据的监督对比学习达到 70.16% 的 top-1 准确率，优于非对比的反演方法（38.84% top-1 准确率）。
• 将 5% 的 BigBiGAN 合成数据与真实 ImageNet100 数据混合，可提升迁移性能，表明合成数据可有效补充真实数据。
• 表征质量强烈依赖于采样策略；未经潜在空间变换的简单采样会导致性能低下，凸显了结构化视图生成的必要性。
• 结果表明，生成模型可作为真实数据集的压缩、隐私保护且可编辑的替代方案，用于表征学习。