[论文解读] Collaging on Internal Representations: An Intuitive Approach for Semantic Transfiguration.

Ryôhei Suzuki, Masanori Koyama+2 more|arXiv (Cornell University)|Nov 26, 2018

Generative Adversarial Networks and Image Synthesis被引用 3

一句话总结

本文提出了一种基于CNN的新型图像编辑方法，通过在训练好的GAN中操纵内部特征表示，实现对任意区域的语义重构。该方法结合空间条件批归一化（sCBN）与特征融合技术，可在真实图像和生成图像上实现直观的、区域特定的语义编辑，且兼容任何使用条件归一化层的GAN架构。

ABSTRACT

We present a novel CNN-based image editing strategy that allows the user to change the semantic information of an image over an arbitrary region by manipulating the feature-space representation of the image in a trained GAN model. We will present two variants of our strategy: (1) spatial conditional batch normalization (sCBN), a type of conditional batch normalization with user-specifiable spatial weight maps, and (2) feature-blending, a method of directly modifying the intermediate features. Our methods can be used to edit both artificial image and real image, and they both can be used together with any GAN with conditional normalization layers. We will demonstrate the power of our method through experiments on various types of GANs trained on different datasets. Code will be available at this https URL.

研究动机与目标

• 通过操纵训练好的GAN中的内部特征表示，实现对图像的直观、区域特定的语义编辑。
• 开发一种适用于多种GAN架构和数据集、无需重新训练的方法。
• 通过空间条件化的特征调制，为用户提供对任意图像区域语义内容的直接控制。
• 利用统一且可泛化的框架，支持对真实图像和人工生成图像的编辑。

提出的方法

• 该方法采用空间条件批归一化（sCBN），通过用户定义的空间权重图来调节特征图中的批归一化统计量。
• 提出特征融合技术，直接修改中间特征表示以实现语义变化。
• sCBN与特征融合技术兼容任何使用条件归一化层的GAN架构。
• 该方法在潜在特征空间中运行，可在无需微调或重新训练生成器的情况下实现语义编辑。
• 用户指定的空间掩码引导修改的应用，实现局部化的语义重构。
• 该框架端到端可微分，可应用于现有训练好的GAN模型。

实验结果

研究问题

• RQ1 是否可以通过操纵训练好的GAN中的内部特征表示，在不重新训练的情况下实现语义编辑？
• RQ2 空间条件批归一化（sCBN）在实现用户可控、区域特定的图像编辑方面效果如何？
• RQ3 特征融合能否产生感知上连贯且语义上合理的图像修改？
• RQ4 该方法在不同GAN架构和数据集上的泛化能力如何？
• RQ5 与先前方法相比，sCBN与特征融合的结合在编辑保真度和控制力方面有何提升？

主要发现

• 所提出的方法仅使用训练好的GAN，即可实现对真实图像和生成图像的直观、区域特定的语义编辑。
• sCBN实现了对特征调制的精确空间控制，使用户定义的掩码可引导局部语义变化。
• 特征融合提供了一条替代的编辑路径，可直接操纵中间特征以实现语义重构。
• 该方法兼容任何使用条件归一化层的GAN，具有广泛的适用性。
• 实验表明，该方法在多种GAN和数据集上均表现出一致的性能，证实了其泛化能力。
• 该方法在无需模型微调或重新训练的情况下，实现了高质量的编辑效果。