[论文解读] Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach

Yahui Liu, Marco De Nadai+5 more|arXiv (Cornell University)|Aug 10, 2020

Multimodal Machine Learning Applications参考文献 53被引用 8

一句话总结

本文提出DWC-GAN，一种新颖的无监督图像到图像翻译框架，仅通过类似命令的描述（例如'将发色改为黑色'）即可实现文本引导的视觉属性操控，无需完整图像字幕或人工标注的数据集。通过在属性空间中使用高斯混合模型（GMM）解耦内容与属性，模型能够生成多种随机且多样的输出，以应对自然语言中的模糊性，在CelebA和CUB数据集上达到最先进性能。

ABSTRACT

Manipulating visual attributes of images through human-written text is a very challenging task. On the one hand, models have to learn the manipulation without the ground truth of the desired output. On the other hand, models have to deal with the inherent ambiguity of natural language. Previous research usually requires either the user to describe all the characteristics of the desired image or to use richly-annotated image captioning datasets. In this work, we propose a novel unsupervised approach, based on image-to-image translation, that alters the attributes of a given image through a command-like sentence such as "change the hair color to black". Contrarily to state-of-the-art approaches, our model does not require a human-annotated dataset nor a textual description of all the attributes of the desired image, but only those that have to be modified. Our proposed model disentangles the image content from the visual attributes, and it learns to modify the latter using the textual description, before generating a new image from the content and the modified attribute representation. Because text might be inherently ambiguous (blond hair may refer to different shadows of blond, e.g. golden, icy, sandy), our method generates multiple stochastic versions of the same translation. Experiments show that the proposed model achieves promising performances on two large-scale public datasets: CelebA and CUB. We believe our approach will pave the way to new avenues of research combining textual and speech commands with visual attributes.

研究动机与目标

• 通过简短、类似命令的文本描述而非完整图像字幕，实现灵活且用户友好的图像属性操控。
• 消除对人工标注图像字幕数据集进行训练的依赖。
• 以多模态、随机化的方式建模视觉属性变化，以应对自然语言固有的模糊性。
• 将图像内容与视觉属性解耦，以实现更可控且鲁棒的图像翻译。
• 仅通过期望的属性变化实现渐进式与插值式编辑。

提出的方法

• 该模型采用基于生成对抗网络（GAN）的架构，包含内容编码器、属性编码器和生成器，用于解耦图像内容与视觉属性。
• 通过高斯混合模型（GMM）对视觉属性进行建模，使同一属性变化可生成多种随机表示。
• 通过预训练的词嵌入将文本描述编码，并投影到属性空间，以引导特定属性的修改。
• 循环一致性损失确保翻译过程中保持身份一致性和域一致性。
• 属性重建损失强制模型从编码表示中准确重构原始属性。
• 多样性敏感损失鼓励对同一输入命令采样多个不同且合理的输出。

实验结果

研究问题

• RQ1 是否可以仅通过简短、类似命令的文本描述（无需完整图像字幕）有效实现图像属性操控？
• RQ2 模型如何处理自然语言命令中固有的模糊性（例如'金发'可能指不同发色）？
• RQ3 无监督方法是否能在无人工标注成对数据的情况下实现高质量且多样的图像翻译？
• RQ4 内容与属性的解耦在多大程度上提升了图像翻译的可控性与鲁棒性？
• RQ5 模型是否能泛化到训练期间未见过的真实人类书写文本命令？

主要发现

• 所提出的DWC-GAN在CelebA和CUB数据集上达到最先进性能，CelebA数据集上的Inception Score（IS）为3.069，Fréchet Inception Distance（FID）为32.14。
• 消融实验表明，移除循环一致性损失会显著降低图像质量和多样性（IS: 2.589，FID: 97.94）。
• 移除属性重建损失虽略微提升IS与FID，但降低多样性，表明准确度与可变性之间存在权衡。
• 使用预训练词嵌入可提升训练收敛速度与图像质量，而移除后IS下降至2.782，FID升至73.90。
• 当GMM被限制为单个高斯分布（即无多样性）时，模型失去多模态生成能力，LPIPS为0.000 ± 0.000，证实GMM对多样性至关重要。
• 用户研究（15名参与者）验证了模型对真实人类书写命令的良好泛化能力，表明其对自然语言变化具有鲁棒性。