[论文解读] Image Generation from Layout

Bo Zhao, Lili Meng+2 more|arXiv (Cornell University)|Nov 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 57被引用 7

一句话总结

本文提出 Layout2Im，一种新颖的深度生成模型，能够从由物体类别和边界框定义的粗略布局中生成多样且逼真的图像。通过将物体表征解耦为类别（通过词嵌入）和外观（通过从正态分布采样的潜在向量），并利用卷积LSTM进行组合，该模型在COCO-Stuff和Visual Genome数据集上分别实现了24.66%和28.57%的性能提升，达到当前最优的Inception分数，同时在无需实例分割掩码的情况下实现了可控且多样的图像生成。

ABSTRACT

Despite significant recent progress on generative models, controlled generation of images depicting multiple and complex object layouts is still a difficult problem. Among the core challenges are the diversity of appearance a given object may possess and, as a result, exponential set of images consistent with a specified layout. To address these challenges, we propose a novel approach for layout-based image generation; we call it Layout2Im. Given the coarse spatial layout (bounding boxes + object categories), our model can generate a set of realistic images which have the correct objects in the desired locations. The representation of each object is disentangled into a specified/certain part (category) and an unspecified/uncertain part (appearance). The category is encoded using a word embedding and the appearance is distilled into a low-dimensional vector sampled from a normal distribution. Individual object representations are composed together using convolutional LSTM, to obtain an encoding of the complete layout, and then decoded to an image. Several loss terms are introduced to encourage accurate and diverse generation. The proposed Layout2Im model significantly outperforms the previous state of the art, boosting the best reported inception score by 24.66% and 28.57% on the very challenging COCO-Stuff and Visual Genome datasets, respectively. Extensive experiments also demonstrate our method's ability to generate complex and diverse images with multiple objects.

研究动机与目标

• 解决从粗略布局（边界框+类别）生成多样且逼真图像的挑战，由于外观和交互的可变性，这属于一对多问题。
• 克服文本到图像生成方法在复杂场景中表现不佳且缺乏空间控制的问题。
• 通过使用更易获取且精确的布局输入（指定物体位置和大小）来改进基于场景图的方法。
• 通过允许对布局元素（如添加、移动或删除物体）进行简便操作，实现可控的图像生成。
• 开发一种可微分、端到端可训练的框架，以在生成图像中平衡真实感、多样性与物体可识别性。

提出的方法

• 将每个物体的表征解耦为类别（通过学习的词嵌入编码）和外观（通过从正态分布采样的低维潜在向量表示）。
• 利用边界框坐标及其对应的表征构建特定于物体的特征图。
• 通过卷积LSTM将所有物体的特征图组合成全局图像表征，以建模空间和上下文依赖关系。
• 使用去卷积网络将全局特征图解码为最终图像。
• 采用多组件损失函数进行训练：像素级L1重建损失、图像级和物体级输出的对抗性损失，以及生成物体的类别分类损失。
• 使用两个判别器：一个用于完整图像（以确保真实感），另一个用于裁剪的物体区域（以确保物体生成的真实性和正确分类）。

实验结果

研究问题

• RQ1 深度生成模型能否在不依赖分割掩码或复杂场景图的情况下，从物体类别和边界框的粗略布局中生成多样且逼真的图像？
• RQ2 如何对物体外观和类别进行解耦，以实现在相同布局下可控且多样的图像生成？
• RQ3 在基于布局的图像合成中，哪些损失组件是平衡图像真实感、物体可识别性与生成多样性的必要条件？
• RQ4 基于布局的生成方法在COCO-Stuff和Visual Genome等复杂真实世界数据集上，相较于现有文本到图像和场景图到图像的方法，性能提升程度如何？
• RQ5 当关键组件（如对抗性损失或重建损失）被移除时，模型性能如何变化？

主要发现

• 所提出的Layout2Im模型在COCO-Stuff数据集上的Inception分数相比之前SOTA模型提升了24.66%。
• 在更具挑战性的Visual Genome数据集中，模型将Inception分数提升了28.57%，表明其在复杂、开放词汇场景中表现更优。
• 该模型在Visual Genome数据集上实现了0.17的多样性分数，显著高于sg2im基线模型的0.02，表明其具有强大的生成多样性。
• 消融实验表明，移除L1重建损失或潜在码损失会降低Inception分数，证实了其对图像真实感的重要性。
• 移除物体分类损失会导致Inception分数和物体准确率急剧下降（至10.06%），证实其在生成可识别物体中的关键作用。
• 完整模型在Inception分数（8.1 ± 0.1）、物体分类准确率（48.09%）和多样性分数（0.17）之间实现了良好平衡，在所有指标上均优于消融变体。