[论文解读] Depth Structure Preserving Scene Image Generation

Wendong Zhang, Bingbing Ni+3 more|arXiv (Cornell University)|Jun 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 3

一句话总结

本文提出DSP-GAN，一种分层生成对抗网络，通过利用霍克斯点过程在深度层之间建模空间依赖关系，同时在每一层内训练条件生成对抗网络以生成逼真的组件，从而在自然场景图像生成中保留深度结构；在SUN数据集的一个子集上进行的实验表明，该模型能够生成具有深度真实感、高质量的场景图像。

ABSTRACT

Key to automatically generate natural scene images is to properly arrange among various spatial elements, especially in the depth direction. To this end, we introduce a novel depth structure preserving scene image generation network (DSP-GAN), which favors a hierarchical and heterogeneous architecture, for the purpose of depth structure preserving scene generation. The main trunk of the proposed infrastructure is built on a Hawkes point process that models the spatial dependency between different depth layers. Within each layer generative adversarial sub-networks are trained collaboratively to generate realistic scene components, conditioned on the layer information produced by the point process. We experiment our model on a sub-set of SUNdataset with annotated scene images and demonstrate that our models are capable of generating depth-realistic natural scene image.

研究动机与目标

• 为解决在自动化自然场景图像生成过程中保持深度结构的挑战。
• 在分层且异构的网络架构中，建模不同深度层之间的空间依赖关系。
• 通过将生成对抗网络基于深度层信息进行条件化，生成逼真的场景组件。
• 通过显式编码深度层次结构，提升生成场景图像的真实感和结构一致性。

提出的方法

• 采用霍克斯点过程来建模场景中不同深度层之间的空间依赖关系。
• 设计一种分层架构，其中每个深度层由专用的生成对抗子网络处理。
• 通过霍克斯过程生成的层特定信息来条件化每个子网络，以确保深度感知的生成。
• 协同训练各子网络，以在不同深度层之间保持一致性和真实性。
• 利用分层且异构的网络设计，在场景生成中平衡结构保真度与视觉真实感。
• 利用SUN数据集中标注的深度层来监督深度感知生成，以提升真实感。

实验结果

研究问题

• RQ1 在自然场景图像生成过程中，如何有效保留深度结构？
• RQ2 何种架构设计能够更好地建模跨深度层的空间依赖关系？
• RQ3 具有深度条件化子网络的分层生成对抗网络能否生成更逼真且结构一致的场景？
• RQ4 与基线方法相比，使用霍克斯点过程在多大程度上提升了深度感知的场景生成效果？

主要发现

• 所提出的DSP-GAN模型通过建模层间空间依赖关系，成功在生成的自然场景图像中保留了深度结构。
• 采用霍克斯点过程有效建模了深度层之间的关系，提升了结构一致性。
• 在每个深度层内训练的条件生成对抗网络生成了与整体深度布局一致的逼真场景组件。
• 该模型在具有标注场景图像的SUN数据集子集上，表现出更高的真实感和深度一致性。
• 分层且异构的架构实现了对深度感知场景生成更好的解耦与控制。
• 定量与定性结果均表明，该模型生成的深度真实感场景优于未采用深度结构建模的基线生成对抗网络。