[论文解读] Fashion Editing with Multi-scale Attention Normalization.

Haoye Dong, Xiaodan Liang+7 more|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 10

一句话总结

本文提出FE-GAN，一种用于时尚图像编辑的新型生成对抗网络，通过多尺度注意力归一化技术在自由形式图像操作过程中有效保留草图和色彩笔触的细节。通过将具有语义感知能力的图像修复网络与来自人体分割图的语义引导相结合，该方法在高分辨率时尚数据集上显著提升了图像质量和编辑保真度，优于当前最先进方法。

ABSTRACT

Interactive fashion image manipulation, which enables users to edit images with sketches and color strokes, is an interesting research problem with great application value. Existing works often treat it as a general inpainting task and do not fully leverage the semantic structural information in fashion images. Moreover, they directly utilize conventional convolution and normalization layers to restore the incomplete image, which tends to wash away the sketch and color information. In this paper, we propose a novel Fashion Editing Generative Adversarial Network (FE-GAN), which is capable of manipulating fashion images by free-form sketches and sparse color strokes. FE-GAN consists of two modules: 1) a free-form parsing network that learns to control the human parsing generation by manipulating sketch and color; 2) a parsing-aware inpainting network that renders detailed textures with semantic guidance from the human parsing map. A new attention normalization layer is further applied at multiple scales in the decoder of the inpainting network to enhance the quality of the synthesized image. Extensive experiments on high-resolution fashion image datasets demonstrate that the proposed method significantly outperforms the state-of-the-art methods on image manipulation.

研究动机与目标

• 解决现有时尚图像编辑方法将图像操作视为通用图像修复的问题，这些方法无法有效保留结构和色彩细节。
• 开发一种框架，有效利用时尚图像中的语义结构信息，实现更精确和可控的编辑。
• 通过在解码器中引入多尺度注意力归一化层，提升图像生成质量，以更好地保留细粒度的草图和色彩笔触细节。
• 在保持真实纹理生成能力的同时，支持使用草图和稀疏色彩笔触进行自由形式编辑。
• 在高分辨率时尚图像数据集上，相较于当前最先进方法，展示出更优越的性能。

提出的方法

• 引入一种自由形式的语义分割网络，通过用户提供的草图和色彩笔触作为条件，生成人体分割图。
• 采用语义感知的图像修复网络，利用生成的分割图作为语义引导，重建细节丰富的纹理。
• 在图像修复网络的解码器中集成多尺度注意力归一化层，以增强不同感受野下的特征表示能力。
• 注意力归一化机制通过建模空间和通道维度上的长距离依赖关系，自适应地重新校准特征图。
• 整体FE-GAN框架通过对抗损失、感知损失和身份损失进行端到端训练，以确保图像的真实感和编辑一致性。
• 模型利用跳跃连接和多尺度监督机制，以稳定训练过程并提升生成质量。

实验结果

研究问题

• RQ1 生成模型是否能在不依赖传统归一化层的前提下，有效保留时尚图像编辑过程中的草图和色彩笔触细节？
• RQ2 与解码器中标准归一化方法相比，多尺度注意力归一化在提升合成时尚图像质量与保真度方面有何改进？
• RQ3 语义感知的图像修复网络在自由形式编辑场景中，能在多大程度上利用语义分割图生成逼真的纹理？
• RQ4 所提出的FE-GAN在高分辨率时尚图像数据集上是否在图像质量和编辑准确性方面均优于现有最先进方法？

主要发现

• 所提出的FE-GAN在高分辨率时尚图像编辑基准测试中表现优异，显著超越当前最先进方法。
• 多尺度注意力归一化的集成显著提升了细节清晰度，并更好地保留了草图和色彩笔触信息。
• 语义感知的图像修复网络通过利用语义分割图作为引导，有效生成了逼真的纹理。
• 消融实验验证了多尺度注意力归一化层在图像质量提升方面具有显著贡献。
• 用户研究与定量评估表明，与基线方法相比，编辑保真度和视觉真实感均有显著提升。
• 该模型在多种时尚布局和复杂编辑场景中表现出良好的泛化能力，包括自由形式草图和稀疏色彩笔触输入。