[论文解读] Big GANs Are Watching You: Towards Unsupervised Object Segmentation with Off-the-Shelf Generative Models

Andrey Voynov, Stanislav Morozov+1 more|arXiv (Cornell University)|May 4, 2021

Visual Attention and Saliency Detection参考文献 22被引用 9

一句话总结

本文提出了一种简单且可复现的无监督对象分割方法，通过利用预训练的生成模型（如 BigBiGAN 和 StyleGAN2）实现。该方法识别出生成图像中与显著性相对应的潜在空间方向，利用这些方向生成伪分割掩码，并训练一个判别式分割模型——在无监督基准测试中实现了最先进性能，且仅需极少的训练和超参数调优。

ABSTRACT

Since collecting pixel-level groundtruth data is expensive, unsupervised visual understanding problems are currently an active research topic. In particular, several recent methods based on generative models have achieved promising results for object segmentation and saliency detection. However, since generative models are known to be unstable and sensitive to hyperparameters, the training of these methods can be challenging and time-consuming. In this work, we introduce an alternative, much simpler way to exploit generative models for unsupervised object segmentation. First, we explore the latent spaces of the publicly available unsupervised models, such as BigBiGAN and StyleGAN2, and reveal the ``segmenting'' latent directions that can be used to obtain saliency masks for GAN-produced images. These masks then are used to train a discriminative segmentation model. Being very simple and easy-to-reproduce, our approach outperforms the state-of-the-art on common benchmarks in the unsupervised scenario. All the code and the pretrained models are available online.

研究动机与目标

• 为解决对象分割中像素级标注收集成本高且困难的问题。
• 探索是否可以利用现成的生成模型实现无监督对象分割，而无需微调。
• 识别预训练 GAN 中稳定且有意义的潜在方向，使其与对象级显著性相对应。
• 开发一种简单且可复现的方法，避免对生成模型进行复杂训练。
• 仅使用预训练模型和极少适配，实现在无监督分割基准上的最先进性能。

提出的方法

• 该方法分析预训练 BigBiGAN 和 StyleGAN2 模型的潜在空间，以发现与对象显著性相对应的方向。
• 识别出特定的潜在方向，当这些方向被扰动时，可生成具有显著对象区域的图像，从而有效生成伪分割掩码。
• 利用这些生成的掩码作为监督信号，训练一个判别式分割网络，采用弱监督方式训练。
• 该方法仅依赖于预训练模型的潜在空间结构，避免对 GAN 进行端到端训练。
• 判别式模型使用伪掩码作为监督信号进行训练，使其能够泛化到真实图像。
• 所有组件以简单端到端的流程进行训练，无需额外数据或复杂超参数调优。

实验结果

研究问题

• RQ1 是否可以使用预训练的生成模型（如 BigBiGAN 和 StyleGAN2）在不微调的情况下生成有意义的分割掩码？
• RQ2 这些模型潜在空间中是否存在稳定且可解释的方向，与对象级显著性相对应？
• RQ3 能否利用此类潜在方向训练出能泛化到真实图像的判别式分割模型？
• RQ4 与现有无监督对象分割方法相比，该方法在性能和训练复杂度方面表现如何？
• RQ5 该方法在不同预训练模型和数据集上是否具有鲁棒性和可复现性？

主要发现

• 该方法在标准无监督对象分割基准上实现了最先进性能，优于先前方法。
• 在 BigBiGAN 和 StyleGAN2 中发现的潜在空间方向，能在多种图像类别上一致地生成合理的显著性掩码。
• 该方法无需对生成模型进行额外训练，仅依赖预训练权重。
• 由此产生的分割模型能很好地泛化到真实图像，即使其在 GAN 生成的合成掩码上进行训练。
• 该方法高度可复现，且仅需极少的超参数调优，具有实际部署的可行性。
• 代码和预训练模型已公开发布，便于复制和扩展。