[论文解读] A Benchmark and Baseline for Language-Driven Image Editing

Jing Shi, Ning Xu+4 more|arXiv (Cornell University)|Oct 5, 2020

Multimodal Machine Learning Applications参考文献 29被引用 5

一句话总结

本文提出了一项新的语言驱动图像编辑（LDIE）任务，支持通过自然语言请求实现局部和全局编辑。该工作构建了首个大规模基准数据集GIER，包含30,000个标注的图像三元组（源图像、请求、目标图像），并提出一种模块化神经网络基线模型，能够解释语言请求、预测编辑操作与掩码，并以高可解释性逐步执行编辑，在真实用户数据上表现出色。

ABSTRACT

Language-driven image editing can significantly save the laborious image editing work and be friendly to the photography novice. However, most similar work can only deal with a specific image domain or can only do global retouching. To solve this new task, we first present a new language-driven image editing dataset that supports both local and global editing with editing operation and mask annotations. Besides, we also propose a baseline method that fully utilizes the annotation to solve this problem. Our new method treats each editing operation as a sub-module and can automatically predict operation parameters. Not only performing well on challenging user data, but such an approach is also highly interpretable. We believe our work, including both the benchmark and the baseline, will advance the image editing area towards a more general and free-form level.

研究动机与目标

• 为解决非专业人士在无需手动选择操作或调节参数的情况下，通过自然语言实现图像编辑的挑战。
• 构建一个大规模、真实世界的数据集，支持局部与全局图像编辑，并对操作与掩码进行详细标注。
• 开发一种模块化、可解释的模型，从语言请求中预测编辑操作、区域与参数，支持人工介入的迭代优化。
• 为未来自由形式、语言驱动的图像编辑研究建立强有力的基线。

提出的方法

• 提出基于真实用户请求（来自Reddit和Zhopped等平台）的图像编辑请求数据集GIER，包含30,000个样本，涵盖源图像、自然语言编辑请求与目标图像。
• 设计一种模块化神经网络（OMN），将语言请求解析为一系列编辑操作，每个操作均包含预测的区域与参数。
• 提出一种操作条件的定位模型，扩展MattNet以支持多区域与操作特定上下文，提升定位准确性。
• 在训练过程中使用三元组损失，对齐图像、语言与操作模态的特征表示，增强联合表征学习。
• 采用两阶段训练流程：首先预测操作与掩码，然后使用基于GAN的生成器对输出图像进行精细化。
• 通过消融实验与人工评估验证模型，证明其在多样化真实用户请求下的鲁棒性。

实验结果

研究问题

• RQ1 语言驱动的图像编辑系统能否有效理解局部与全局图像编辑的详细与模糊自然语言请求？
• RQ2 引入操作与掩码标注在多大程度上提升了图像编辑模型的性能与可解释性？
• RQ3 模块化、操作特定的网络架构在感知质量与编辑准确性方面，能否显著优于端到端的GAN基线模型？
• RQ4 视觉与语言特征在操作预测与定位中的贡献如何？在局部与全局编辑中，哪种模态更为关键？
• RQ5 对预测操作与掩码的中间监督能否提升最终图像生成质量，并辅助验证数据集标注的可靠性？

主要发现

• 所提出的模块化网络（OMN）在真实用户数据上表现优异，用户评分显著高于GAN基线模型Pix2pixAug，表明其具有更高的感知质量与人机交互潜力。
• 当使用真实操作与掩码作为监督时，模型的上限性能远高于完整模型，表明提升操作与掩码预测能力可带来显著性能增益。
• 消融实验表明，使用视觉与语言特征（V+L）进行操作选择的表现略低于仅使用语言特征（L），说明语言上下文本身已高度信息丰富，足以支持操作预测。
• 训练过程中使用三元组损失可提升性能，证实其在对齐图像、语言与操作模态表征方面的有效性。
• 在训练中随机化操作顺序可略微提升性能，表明模型泛化能力受益于多样化的操作序列。
• 模型展现出强大的局部编辑能力，能准确移除复杂场景中的文本与人物，其视觉定位与编辑显著性优于Pix2pixAug。