[论文解读] Deep Structured Generative Models

Kun Xu, Haoyu Liang+3 more|arXiv (Cornell University)|Jul 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 5

一句话总结

本文提出了一种深度结构化生成模型，将随机And-Or图（sAOG）与生成对抗网络（GANs）相结合，以建模复杂场景结构并生成高质量、逼真的图像。通过使用sAOG编码分层物体布局与关系，并利用像素到像素的细化网络，基于边界框和属性生成细节丰富的图像，该方法实现了卓越的图像质量，同时支持可解释、可编辑的场景生成，并具备精确的结构推理能力。

ABSTRACT

Deep generative models have shown promising results in generating realistic images, but it is still non-trivial to generate images with complicated structures. The main reason is that most of the current generative models fail to explore the structures in the images including spatial layout and semantic relations between objects. To address this issue, we propose a novel deep structured generative model which boosts generative adversarial networks (GANs) with the aid of structure information. In particular, the layout or structure of the scene is encoded by a stochastic and-or graph (sAOG), in which the terminal nodes represent single objects and edges represent relations between objects. With the sAOG appropriately harnessed, our model can successfully capture the intrinsic structure in the scenes and generate images of complicated scenes accordingly. Furthermore, a detection network is introduced to infer scene structures from a image. Experimental results demonstrate the effectiveness of our proposed method on both modeling the intrinsic structures, and generating realistic images.

研究动机与目标

• 为解决深度生成模型在捕捉图像中复杂空间与语义结构方面的局限性。
• 实现基于显式场景结构（如物体关系与空间布局）引导的条件图像生成。
• 通过源自随机语法模型的结构化潜在变量，支持可解释的图像编辑。
• 开发一种识别模型，能够从真实图像中推断场景结构，以实现图像重建与编辑。
• 通过深度生成网络弥合结构化场景建模与逼真图像生成之间的差距。

提出的方法

• 使用随机And-Or图（sAOG）建模分层场景结构，其中非终结符节点表示组或关系，终结符节点表示单个物体。
• 采用语法模型生成作为解析图的场景布局，通过概率规则编码物体之间的空间与语义关系。
• 将基于U-Net的细化网络条件化于sAOG生成的边界框与物体属性（如类别、旋转角、材质）上，以生成480×320分辨率的逼真图像。
• 引入检测网络（使用ResNet-52的Faster R-CNN）从真实图像中推断潜在的sAOG结构，从而实现图像压缩与重建。
• 使用6层卷积判别器，并采用两阶段细化过程：首先从边界框生成粗略图像，然后将其细化为高分辨率输出。
• 应用像素到像素的细化方法，通过修改的跳跃连接，在图像生成过程中保持形状与空间保真度。

实验结果

研究问题

• RQ1 像sAOG这样的结构化潜在变量模型是否能有效捕捉场景中复杂的空间与语义关系，以支持图像生成？
• RQ2 基于GAN的细化网络能否在sAOG生成的布局与属性条件下生成逼真的图像？
• RQ3 识别模型能否从真实图像中准确推断出潜在的场景结构，从而实现图像重建与编辑？
• RQ4 与标准GAN或VAE相比，引入结构先验在多大程度上提升了图像生成质量？
• RQ5 该框架是否能够通过结构化控制支持灵活的图像编辑操作，如物体操作、位置移动或属性修改？

主要发现

• 所提方法生成的图像质量优于VAE与SN-GAN基线模型，物体排列连贯且逼真。
• 基于sAOG的布局生成成功建模了复杂场景结构，包括空间与语义关系，实现了条件化图像合成。
• 识别模型在3D位置回归任务中达到0.014的均方误差，表明从真实图像中推断结构的高精度。
• 该框架通过从sAOG采样布局并将其细化为逼真图像，实现了端到端的图像生成能力。
• 从真实图像中实现的图像重建在480×320图像上达到1KB的压缩率，证明了结构编码的有效性。
• 该方法通过潜在空间的结构化控制，支持灵活的编辑操作，如物体添加、移除、位置调整及属性修改。