[论文解读] Interactive Image Manipulation with Natural Language Instruction Commands

Seitaro Shinagawa, Koichiro Yoshino+3 more|arXiv (Cornell University)|Feb 23, 2018

Multimodal Machine Learning Applications参考文献 15被引用 11

一句话总结

本文提出了一种交互式图像操作系统，能够从源图像和描述期望更改的自然语言指令中生成目标图像。通过在共享潜在空间中建模图像与语言，并使用前馈层实现线性变换，该框架实现了可控的、指令条件化的图像编辑，且与真实图像的结构相似度（SSIM）较高。

ABSTRACT

We propose an interactive image-manipulation system with natural language instruction, which can generate a target image from a source image and an instruction that describes the difference between the source and the target image. The system makes it possible to modify a generated image interactively and make natural language conditioned image generation more controllable. We construct a neural network that handles image vectors in latent space to transform the source vector to the target vector by using the vector of instruction. The experimental results indicate that the proposed framework successfully generates the target image by using a source image and an instruction on manipulation in our dataset.

研究动机与目标

• 为解决非交互式、单次生成的文本到图像生成方法的局限性，实现迭代的、可控的图像编辑。
• 通过仅关注源图像与目标图像之间的差异，而非从零开始描述整个图像，从而降低用户的认知负荷。
• 探究是否可以将自然语言指令嵌入与图像共享的潜在空间中，以实现线性、可加的图像变换。
• 评估模型在未见操作上的泛化能力，以及学习语义概念（如“移动”、“扩展”、“压缩”和“删除”）的能力。

提出的方法

• 该框架使用基于DCGAN的图像编码器从源图像中提取潜在向量。
• 使用普通的LSTM将自然语言指令编码为句子向量，最终隐藏状态表示指令嵌入。
• 通过全连接层将图像向量与指令向量融合，生成目标图像的单一潜在表示。
• 模型通过最小化生成图像与真实目标图像在潜在空间中的重建损失进行训练。
• 该框架假设潜在空间中存在线性可加性，受先前关于共享图像-语言嵌入的研究启发。
• 图像生成通过使用生成器网络解码融合后的潜在向量完成，保持原始DCGAN的架构。

实验结果

研究问题

• RQ1 自然语言指令是否能有效用于引导潜在空间中的精确、交互式图像操作？
• RQ2 模型在有限指令数据下，能在多大程度上学习并泛化语义概念（如“移动”、“扩展”和“压缩”）？
• RQ3 当指令仅描述源图像与目标图像之间的差异，而非完整图像描述时，模型是否表现更优？
• RQ4 当训练中仅涉及“删除”操作的数字删除，而测试时出现“将零移至右侧”这类未见操作时，模型的泛化能力如何？

主要发现

• 生成图像与目标图像之间的结构相似度（SSIM）较高，主观评估中45.3%的评分认为相似度为‘非常相似’（得分为5）。
• 学习到的指令向量具有有意义的语义概念：'扩展'与'压缩'被学习为互逆操作，'移动'向量在余弦相似度图中显示出清晰的方向聚类。
• 模型在泛化到未见操作方面表现不佳，例如在训练中未明确涵盖的数字删除操作（如删除非零数字），表明零样本泛化能力有限。
• 数字身份（如'零'）在指令向量中未被有效捕捉，可能是因为训练数据中每条指令仅包含一种数字操作。
• 指令向量的可视化显示，方向和动词语义被有效学习，但数值量词（如'一'、'二'）未被显著编码。