[论文解读] ManiTrans: Entity-Level Text-Guided Image Manipulation via Token-wise Semantic Alignment and Generation

Jianan Wang, Guansong Lu+4 more|arXiv (Cornell University)|Apr 9, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

ManiTrans 提出了一种基于 Transformer 的新型框架，用于基于文本提示的实体级图像编辑，通过逐标记语义对齐和对比语言图像预训练（CLIP）损失，精确修改对象的纹理、颜色和结构，同时保留无关区域。该方法在 CUB、Oxford 和 COCO 数据集上实现了最先进性能，实现了由自然语言描述引导的细粒度、多对象编辑。

ABSTRACT

Existing text-guided image manipulation methods aim to modify the appearance of the image or to edit a few objects in a virtual or simple scenario, which is far from practical application. In this work, we study a novel task on text-guided image manipulation on the entity level in the real world. The task imposes three basic requirements, (1) to edit the entity consistent with the text descriptions, (2) to preserve the text-irrelevant regions, and (3) to merge the manipulated entity into the image naturally. To this end, we propose a new transformer-based framework based on the two-stage image synthesis method, namely extbf{ManiTrans}, which can not only edit the appearance of entities but also generate new entities corresponding to the text guidance. Our framework incorporates a semantic alignment module to locate the image regions to be manipulated, and a semantic loss to help align the relationship between the vision and language. We conduct extensive experiments on the real datasets, CUB, Oxford, and COCO datasets to verify that our method can distinguish the relevant and irrelevant regions and achieve more precise and flexible manipulation compared with baseline methods. The project homepage is \url{https://jawang19.github.io/manitrans}.

研究动机与目标

• 解决现有文本引导图像编辑方法在真实场景中难以实现细粒度、实体级编辑的局限性。
• 基于自然语言描述，实现对对象外观（纹理、颜色）和结构（形状、布局）的精确操控。
• 在确保编辑实体自然融合的同时，保留与文本描述无关的图像区域。
• 开发一种两阶段框架，结合离散图像标记生成与语义对齐，实现局部化编辑。
• 通过基于 CLIP 的语义损失，提升文本提示与生成图像之间的视觉-语义对齐。

提出的方法

• 基于 Transformer 的图像生成器（Trans）通过自编码器和自回归建模学习离散图像标记的联合分布。
• 语义对齐模块识别与文本描述相关的图像标记，实现实体级别的局部化编辑。
• 将对比语言图像预训练（CLIP）模块重新用于语义损失，以增强文本与图像特征之间的对齐。
• 框架采用两阶段训练流程：首先对图像标记进行量化与编码；其次，模型在文本条件下的生成编辑后的图像标记。
• 语义损失作为像素级监督信号，与逐标记分类损失互补，实现更细致的训练。
• 通过仅修改对齐的图像标记，同时保留图像其余部分，实现实体级编辑。

实验结果

研究问题

• RQ1 视觉-语言模型是否能在真实图像中，基于自然语言描述实现精确的实体级图像编辑？
• RQ2 模型如何区分与文本相关和无关的图像区域，以实现背景内容的保留？
• RQ3 将 CLIP 作为语义损失引入后，对视觉-语义对齐和生成质量的提升程度如何？
• RQ4 模型是否不仅能生成外观变化，还能基于文本描述实现对象结构的变化？
• RQ5 与词到图像块对齐相比，逐标记语义对齐在定位精度方面表现如何？

主要发现

• 在 CUB 和 Oxford 数据集上，ManiTrans 在除 Oxford 上的 L2-error 外的所有指标上均优于 ManiGAN 和 Lightweight-GAN，且在 L2-error 上保持竞争力。
• 在 COCO 数据集上，ManiTrans 在 R@10 和 L2-error 指标上表现更优，CLIP-score 和 Inception score 与基线模型相比也具有竞争力。
• 定性结果表明，ManiTrans 可同时成功编辑多个实体（例如，改变马和田野的颜色），而基线模型仅能应用全局风格滤镜。
• 消融实验表明，语义损失对捕捉多色描述至关重要；缺少该损失的模型无法生成某些颜色（例如，鸟腹部的紫色）。
• 语义对齐模块显著优于词到图像块对齐，减少了背景干扰，实现了对物体部分的精确编辑。
• COCO 上的一个失败案例表明，外观相似的实体（如长颈鹿和角马）可能被混淆，表明在视觉模糊情况下，实体分割与对齐仍存在局限性。