[论文解读] Learning Hierarchical Semantic Image Manipulation through Structured Representations

Seunghoon Hong, Xinchen Yan+2 more|arXiv (Cornell University)|Aug 22, 2018

Generative Adversarial Networks and Image Synthesis被引用 59

一句话总结

论文提出一个分层框架，通过先从粗略边界框预测细粒度语义布局，然后在该布局条件下生成最终图像，以实现上下文感知、对象级编辑。

ABSTRACT

Understanding, reasoning, and manipulating semantic concepts of images have been a fundamental research problem for decades. Previous work mainly focused on direct manipulation on natural image manifold through color strokes, key-points, textures, and holes-to-fill. In this work, we present a novel hierarchical framework for semantic image manipulation. Key to our hierarchical framework is that we employ a structured semantic layout as our intermediate representation for manipulation. Initialized with coarse-level bounding boxes, our structure generator first creates pixel-wise semantic layout capturing the object shape, object-object interactions, and object-scene relations. Then our image generator fills in the pixel-level textures guided by the semantic layout. Such framework allows a user to manipulate images at object-level by adding, removing, and moving one bounding box at a time. Experimental evaluations demonstrate the advantages of the hierarchical manipulation framework over existing image generation and context hole-filing models, both qualitatively and quantitatively. Benefits of the hierarchical framework are further demonstrated in applications such as semantic object manipulation, interactive image editing, and data-driven image manipulation.

研究动机与目标

• 推动超越颜色笔触或修补等低级编辑的语义级图像操控。
• 提出一个从对象边界框到语义布局再到像素级图像的粗到细工作流程。
• 实现交互式对象级编辑（添加、删除、移动），并具备自适应的上下文感知渲染。
• 在跨数据集的交互式编辑和数据驱动的图像操控方面展示好处。

提出的方法

• 引入一个两阶段生成器：结构生成器从粗略边界框及上下文预测像素级语义布局，图像生成器则在预测布局的条件下渲染纹理。
• 使用一个双流结构解码器，在被操作区域内分别预测对象掩码和上下文标签，以实现前景与背景分离。
• 结合条件对抗损失和重建损失来引导布局生成，包含对象掩码流和上下文流。
• 在一个双流编码-解码图像生成器中，将预测的布局与局部图像补丁结合，通过中间门控交互融合布局和图像特征。
• 通过一次对一个对象应用基于边界框的操作来实现迭代式操作。

实验结果

研究问题

• RQ1 如何通过从粗略对象边界框出发的分层生成实现语义级图像操控？
• RQ2 在两个流中分离结构（布局）和外观（图像）是否能提升操控质量与上下文一致性？
• RQ3 模型是否能够在不同场景中有效地支持交互式编辑（添加/删除/移动）和数据驱动的图像操控？

主要发现

• 分层框架产出的操控图像在很大程度上符合周围上下文和对象级语义。
• 双流设计（分离布局编码器和图像编码器）在感知质量和上下文一致性方面优于单流变体。
• 使用预测布局相较于仅图像或仅布局的基线仍然带来显著提升，表明对布局估计误差具有鲁棒性。
• 该方法通过对对象边界框进行采样并在场景间迁移，支持交互式对象级编辑和数据驱动的操控。
• 定性和定量评估显示，在 Cityscape 和 ADE20K 卧室图像上，相较于上下文孔洞填充和结构条件生成基线具有优势。