[论文解读] Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis

Seunghoon Hong, Dingdong Yang+2 more|arXiv (Cornell University)|Jan 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 45

一句话总结

论文提出一个分层文本到图像合成框架，先从文本推断语义布局（边界框和形状），再在该布局条件下生成图像，从而在 MS-COCO 上提升语义对齐与可解释性。

ABSTRACT

We propose a novel hierarchical approach for text-to-image synthesis by inferring semantic layout. Instead of learning a direct mapping from text to image, our algorithm decomposes the generation process into multiple steps, in which it first constructs a semantic layout from the text by the layout generator and converts the layout to an image by the image generator. The proposed layout generator progressively constructs a semantic layout in a coarse-to-fine manner by generating object bounding boxes and refining each box by estimating object shapes inside the box. The image generator synthesizes an image conditioned on the inferred semantic layout, which provides a useful semantic structure of an image matching with the text description. Our model not only generates semantically more meaningful images, but also allows automatic annotation of generated images and user-controlled generation process by modifying the generated scene layout. We demonstrate the capability of the proposed model on challenging MS-COCO dataset and show that the model can substantially improve the image quality, interpretability of output and semantic alignment to input text over existing approaches.

研究动机与目标

• 激发并解决从一般文本描述生成复杂、真实世界图像的挑战。
• 引入基于语义布局的生成管线，以解耦文本到布局与布局到图像的合成。
• 通过预测对象级布局实现细粒度控制和自动注释。
• 在 MS-COCO 上展示相较于先前文本到图像方法的语义保真度和图像质量的提升。

提出的方法

• 使用两阶段布局生成器：一个自动自回归预测对象边界框和标签的盒子生成器，随后是一个形状生成器，在它的框内细化每个对象的掩码。
• 通过聚合实例掩码构建语义标签图，以指导图像生成。
• 用监督损失训练盒子和形状生成器（边界框和标签的NLL；掩码的对抗和感知损失），以强制实例级和全局布局的一致性。
• 使用带注意力的级联编码器-解码器，在文本上进行注意，同时让一个判别器也接收布局，以生成以推断的语义布局和输入文本为条件的图像。
• 利用感知损失稳定GAN训练并提升对象形状；通过修改预测的布局实现可互动控制。

实验结果

研究问题

• RQ1 从文本显式推断语义布局是否能提升复杂场景的文本到图像合成的质量和可解释性？
• RQ2 在推断的布局上对图像进行条件生成，是否能得到更贴合输入文本的图像？
• RQ3 边界框和掩码预测在图像保真度和语义一致性方面的贡献程度？
• RQ4 推断的布局是否支持可控生成和对生成内容的自动注释？

主要发现

• 所提出的方法在 MS-COCO 上显著提升了对抗性网络生成的文本到图像方法的 Inception 分数。
• 基于标题的评估显示，生成的图像与输入文本的相关性高于基线。
• 人工评估表明用户在相关性方面更常将所提方法的图像评为最佳（约占任务的60%）。
• 消融研究显示用真实的布局替换预测布局时，图像生成的质量逐步提升，证实布局质量对图像生成的影响。
• 模型通过利用显式布局条件，生成的图像更易识别且语义意义更强。