[论文解读] Learning Layout and Style Reconfigurable GANs for Controllable Image Synthesis

Wei Sun, Tianfu Wu|arXiv (Cornell University)|Mar 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 64被引用 19

一句话总结

该论文提出LostGAN，一种基于生成对抗网络的框架，通过新颖的布局-掩码-图像生成流程，实现从可重构布局和风格码出发的可控图像合成。该方法引入实例敏感且布局感知的归一化（ISLA-Norm），实现细粒度、弱监督的掩码生成，并在图像级与物体级风格及布局控制方面表现出色，在训练过程中无需真实掩码，于COCO-Stuff和Visual Genome数据集上达到最先进性能。

ABSTRACT

With the remarkable recent progress on learning deep generative models, it becomes increasingly interesting to develop models for controllable image synthesis from reconfigurable inputs. This paper focuses on a recent emerged task, layout-to-image, to learn generative models that are capable of synthesizing photo-realistic images from spatial layout (i.e., object bounding boxes configured in an image lattice) and style (i.e., structural and appearance variations encoded by latent vectors). This paper first proposes an intuitive paradigm for the task, layout-to-mask-to-image, to learn to unfold object masks of given bounding boxes in an input layout to bridge the gap between the input layout and synthesized images. Then, this paper presents a method built on Generative Adversarial Networks for the proposed layout-to-mask-to-image with style control at both image and mask levels. Object masks are learned from the input layout and iteratively refined along stages in the generator network. Style control at the image level is the same as in vanilla GANs, while style control at the object mask level is realized by a proposed novel feature normalization scheme, Instance-Sensitive and Layout-Aware Normalization. In experiments, the proposed method is tested in the COCO-Stuff dataset and the Visual Genome dataset with state-of-the-art performance obtained.

研究动机与目标

• 为解决从可重构空间布局和风格码出发的可控图像合成挑战，实现视觉理解中的系统性分析-合成方法。
• 开发一种弱监督方法，从布局中学习物体掩码，而无需真实语义分割掩码，从而提升在Visual Genome等数据集上的适用性。
• 在生成图像中实现对图像级与物体级风格及布局变化的细粒度控制。
• 设计一种新型归一化方案，对物体实例与布局结构保持敏感，提升条件图像生成中的特征表示能力。
• 在COCO-Stuff与Visual Genome数据集上实现布局到图像合成的最先进性能，同时保持强可控性。

提出的方法

• 该方法采用布局-掩码-图像生成的流水线，其中物体掩码通过弱监督方式从输入布局和风格码中预测，随后进行图像生成。
• 提出一种新型实例敏感且布局感知的归一化（ISLA-Norm）层，将批量归一化适配至物体级特征与空间布局结构，实现更优的特征调制。
• 生成器网络在多层中集成ISLA-Norm，实现基于物体身份与空间配置的动态特征自适应。
• 模型采用端到端的生成对抗网络框架进行训练，结合对抗损失与感知损失，确保高保真图像合成。
• 采用迭代掩码优化模块，逐步从低分辨率到高分辨率优化预测掩码，提升掩码质量与空间一致性。
• 开发了一种半监督布局版本，利用未标注数据提升泛化能力，且不造成性能下降。

实验结果

研究问题

• RQ1 弱监督的布局-掩码-图像生成流水线是否能在无需真实掩码的情况下实现强大的图像合成可控性？
• RQ2 ISLA-Norm在实现物体外观与布局结构的解耦、实例级控制方面效果如何？
• RQ3 该方法在布局重构（如添加或扰动物体）时，能否在风格保持上表现出高度一致性？
• RQ4 与单阶段掩码预测相比，迭代掩码优化过程是否显著提升掩码与图像质量？
• RQ5 该模型能否在无掩码标注的数据集（如Visual Genome）上保持最先进性能，同时实现良好泛化？

主要发现

• 在256×256分辨率下，LostGAN在COCO-Stuff数据集上达到最先进性能，Inception Score为81.4，Fréchet Inception Distance（FID）为15.7。
• 在Visual Genome数据集上，LostGAN的FID为25.3，优于先前方法（包括需要训练时使用真实掩码的Grid2Im）。
• 消融实验表明，移除掩码优化阶段会降低性能，但移除第一阶段优化（$m_1$）并未提升结果，表明其低分辨率输出质量不足。
• 模型展现出强大的风格可控性：仅改变单个物体（如人物）的风格码，即可生成多样外观，同时保持布局与其他物体风格一致。
• 该方法在布局变化中成功保持了物体风格一致性——例如，当添加新物体（如山脉或树木）时，雪地区域的风格保持稳定，优于Grid2Im在该方面的表现。
• 失败案例揭示了在建模细粒度物体交互（如人物与网球拍）方面存在局限，提示未来工作需引入部件级掩码监督。