[论文解读] Emergence of Object Segmentation in Perturbed Generative Models

Adam Bielski, Paolo Favaro|Bern Open Repository and Information System (University of Bern)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 16

一句话总结

本文提出一种完全无监督的对象分割方法，利用扰动生成模型迫使生成器通过随机位移学习解耦的前景-背景表征。通过训练 GAN 生成分层场景（背景、前景、掩码），并使用编码器将真实图像反演到该潜在空间，该方法在无需人工标注或预训练检测器的情况下实现了最先进的无监督分割效果。

ABSTRACT

We introduce a novel framework to build a model that can learn how to segment objects from a collection of images without any human annotation. Our method builds on the observation that the location of object segments can be perturbed locally relative to a given background without affecting the realism of a scene. Our approach is to first train a generative model of a layered scene. The layered representation consists of a background image, a foreground image and the mask of the foreground. A composite image is then obtained by overlaying the masked foreground image onto the background. The generative model is trained in an adversarial fashion against a discriminator, which forces the generative model to produce realistic composite images. To force the generator to learn a representation where the foreground layer corresponds to an object, we perturb the output of the generative model by introducing a random shift of both the foreground image and mask relative to the background. Because the generator is unaware of the shift before computing its output, it must produce layered representations that are realistic for any such random perturbation. Finally, we learn to segment an image by defining an autoencoder consisting of an encoder, which we train, and the pre-trained generator as the decoder, which we freeze. The encoder maps an image to a feature vector, which is fed as input to the generator to give a composite image matching the original input image. Because the generator outputs an explicit layered representation of the scene, the encoder learns to detect and segment objects. We demonstrate this framework on real images of several object categories.

研究动机与目标

• 开发一种完全无监督的对象分割方法，不依赖人工标注、边界框或预训练检测器。
• 基于对象区域可相对于背景局部移动而不破坏真实感的原则定义对象分割。
• 训练一个生成模型，生成在前景位置随机扰动下仍保持真实的分层场景表征（背景、前景、掩码）。
• 训练一个编码器网络，将真实图像映射到预训练生成器的潜在空间，实现端到端的无监督分割。
• 在 LSUN Cars 和 CUB-200 等真实世界数据集上验证该方法的有效性，实现无需监督的竞争力 mIoU 分数。

提出的方法

• 在对抗设置下训练生成模型（G）与判别器（D），从三元组（背景 B、前景 F、掩码 m）生成逼真的合成图像。
• 在训练过程中对前景和掩码引入与输入无关的随机位移（p），迫使 G 生成在扰动后仍保持真实的解耦对象区域。
• 将预训练的生成器 G 作为自编码器中的解码器，其中编码器 E 将真实图像映射到潜在码 z，该码通过 G 重建输入。
• 使用基于预训练判别器提取的特征的感知损失，以及最小化输入与生成图像之间差异的重建损失，来训练编码器 E。
• 采用多尺度潜在码表示：5 个尺度，每尺度 2 个 AdaIN 码，背景与前景分别使用独立码，总计 20 个 512 维潜在码。
• 将训练好的编码器应用于真实图像，以提取对象掩码，无需任何真实标注。

实验结果

研究问题

• RQ1 在前景相对于背景进行随机空间扰动的条件下训练生成模型时，对象分割是否能自然涌现？
• RQ2 使用固定预训练生成器的无监督自编码器是否能无需任何人工标注即可检测并分割真实图像中的对象？
• RQ3 该方法在具有复杂对象形状和背景的真实数据集上的表现如何，尤其与监督基线方法相比？
• RQ4 该框架是否能泛化到包含多个对象类别的场景，即使当前 GAN 在此类数据上的性能受限？
• RQ5 分割质量在多大程度上依赖于生成器的可逆性以及编码器训练的稳定性？

主要发现

• 在 LSUN Car 数据集上，该方法实现了与 Mask R-CNN 等监督方法相当的竞争力 mIoU 分数，且完全无需人工标注。
• 在 CUB-200 数据集上，该方法在使用真实标注作为基准的情况下实现了 0.51 的 mIoU，表明其在细粒度鸟类分割任务中表现强劲。
• 在生成器训练过程中引入随机扰动，成功避免了平凡解（如前景与背景完全相同或掩码为空），迫使模型学习有意义的对象级解耦表征。
• 定性结果表明，该模型能良好泛化到多样化对象类别，包括汽车和马匹，即使在混合数据集上进行训练，尽管图像质量低于单类别数据训练的结果。
• 通过将图像分批处理（每批 100 张）稳定了编码器训练，且该方法对生成器反演的歧义具有鲁棒性，尽管小对象仍具挑战性。
• 生成的合成图像的 Fréchet Inception Distance (FID) 与标准 StyleGAN 相当，表明在分层且受扰动的训练方案下仍保持了高度的真实感。