[论文解读] ManiGAN: Text-Guided Image Manipulation

Bowen Li, Xiaojuan Qi+2 more|arXiv (Cornell University)|Dec 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 6

一句话总结

ManiGAN 提出了一种基于生成对抗网络（GAN）的新框架，用于文本引导的图像编辑，能够在保持与文本无关内容的同时，实现对图像属性（如颜色、纹理、背景）的精确语义编辑。该方法引入了用于区域特定、与文本对齐的特征调制的仿射组合模块（ACM），以及用于细化伪影的细节修正模块（DCM），在 CUB 和 COCO 数据集上均实现了最先进的定性和定量结果。

ABSTRACT

The goal of our paper is to semantically edit parts of an image matching a given text that describes desired attributes (e.g., texture, colour, and background), while preserving other contents that are irrelevant to the text. To achieve this, we propose a novel generative adversarial network (ManiGAN), which contains two key components: text-image affine combination module (ACM) and detail correction module (DCM). The ACM selects image regions relevant to the given text and then correlates the regions with corresponding semantic words for effective manipulation. Meanwhile, it encodes original image features to help reconstruct text-irrelevant contents. The DCM rectifies mismatched attributes and completes missing contents of the synthetic image. Finally, we suggest a new metric for evaluating image manipulation results, in terms of both the generation of new attributes and the reconstruction of text-irrelevant contents. Extensive experiments on the CUB and COCO datasets demonstrate the superior performance of the proposed method. Code is available at https://github.com/mrlibw/ManiGAN.

研究动机与目标

• 实现由自然语言描述引导的高保真、语义图像编辑，同时保持与文本无关的图像内容。
• 解决现有方法在将文本描述与视觉属性精确对齐或准确重建无关区域方面的局限性。
• 开发一个统一的框架，以在复杂场景中平衡属性生成与内容重建。
• 提出一种新的评估指标，以定量衡量属性生成保真度与内容保持能力。

提出的方法

• 仿射组合模块（ACM）利用可学习的权重矩阵和偏置向量，根据文本描述选择性地调制图像特征，实现区域特定的编辑。
• ACM 将原始图像特征编码以重建与文本无关的内容，确保与输入图像的结构一致性。
• 细节修正模块（DCM）通过纠正错误匹配的属性并补全缺失的视觉细节，对生成图像进行精细化处理。
• 该模型采用条件生成对抗网络（conditional GAN）框架，通过仿射变换而非简单拼接的方式融合文本与图像特征。
• 引入一种新的评估指标，用于联合评估属性生成质量与内容重建保真度。
• 该框架在 CUB 和 COCO 数据集上端到端训练，使用对抗损失、L1 损失以及一种新型的重建感知损失。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否有效将细粒度的文本属性与特定图像区域对齐，以实现语义编辑？
• RQ2 在属性编辑过程中，如何在不退化或失真的情况下保持与文本无关的图像内容？
• RQ3 用区域自适应的调制机制替代全局特征拼接，是否能提升编辑精度与图像质量？
• RQ4 专用的细节修正模块在多大程度上提升了图像的视觉保真度并减少了伪影？

主要发现

• 在 CUB 和 COCO 数据集上，ManiGAN 在 Inception Score（IS）和 Fréchet Inception Distance（FID）方面均优于当前最先进方法，表明其图像质量和多样性更优。
• 消融实验表明，移除 ACM 会导致性能显著下降，证实其在准确区域选择与语义对齐中的关键作用。
• DCM 通过定性对比和定量指标均显示，能显著提升图像质量，有效纠正伪影并补全缺失属性。
• 同时启用完整 ACM 和 DCM 的模型在 IS 上达到最高值，在 L1 像素差异上最低，表明其具备强大的生成与重建能力。
• 所提出的评估指标能有效捕捉属性生成与内容保持的双重特性，且与人类感知在定性结果中高度一致。