[论文解读] EditVal: Benchmarking Diffusion Based Text-Guided Image Editing Methods

Samyadeep Basu, Mehrdad Saberi+6 more|arXiv (Cornell University)|Oct 3, 2023

Cell Image Analysis Techniques被引用 5

一句话总结

本文提出了EditVal，一个用于评估基于扩散模型的文本引导图像编辑方法的标准化基准。该基准结合了19个物体类别、13种编辑类型以及使用视觉-语言模型和大规模研究的自动化/人工评估流程，揭示了没有单一方法在所有编辑类型中表现最佳，尤其是在空间类编辑中，Instruct-Pix2Pix和Null-Text在整体保真度和原始图像属性保留方面表现最佳。

ABSTRACT

A plethora of text-guided image editing methods have recently been developed by leveraging the impressive capabilities of large-scale diffusion-based generative models such as Imagen and Stable Diffusion. A standardized evaluation protocol, however, does not exist to compare methods across different types of fine-grained edits. To address this gap, we introduce EditVal, a standardized benchmark for quantitatively evaluating text-guided image editing methods. EditVal consists of a curated dataset of images, a set of editable attributes for each image drawn from 13 possible edit types, and an automated evaluation pipeline that uses pre-trained vision-language models to assess the fidelity of generated images for each edit type. We use EditVal to benchmark 8 cutting-edge diffusion-based editing methods including SINE, Imagic and Instruct-Pix2Pix. We complement this with a large-scale human study where we show that EditVall's automated evaluation pipeline is strongly correlated with human-preferences for the edit types we considered. From both the human study and automated evaluation, we find that: (i) Instruct-Pix2Pix, Null-Text and SINE are the top-performing methods averaged across different edit types, however {\it only} Instruct-Pix2Pix and Null-Text are able to preserve original image properties; (ii) Most of the editing methods fail at edits involving spatial operations (e.g., changing the position of an object). (iii) There is no `winner' method which ranks the best individually across a range of different edit types. We hope that our benchmark can pave the way to developing more reliable text-guided image editing tools in the future. We will publicly release EditVal, and all associated code and human-study templates to support these research directions in https://deep-ml-research.github.io/editval/.

研究动机与目标

• 解决缺乏针对基于扩散模型的文本引导图像编辑方法的标准化评估协议的问题。
• 开发一个基准，以实现对多样化编辑类型的公平、可扩展且量化的比较。
• 通过大规模人工研究，验证自动化评估流程与人类偏好之间的一致性。
• 识别最先进编辑方法在细粒度编辑类型中的成功与失败模式。
• 公开发布EditVal，以支持未来在可靠文本引导图像编辑研究方面的发展。

提出的方法

• 从MS-COCO数据集中精选1,000张图像，涵盖19个物体类别，具有多样的视觉特征，以确保测试多样性。
• 定义13种不同的编辑类型（例如，物体添加、颜色更改、位置替换），并对每张图像的手动标注可编辑属性。
• 使用模板（例如，“将甜甜圈的位置改为盘子左侧”）构建标准化文本提示，以确保方法间输入的一致性。
• 利用预训练视觉-语言模型（如CLIP、DINO）实现自动化评估流程，对编辑保真度进行定量评分。
• 开展大规模人工研究，包含1,000对图像-编辑样本，使用结构化模板收集人类偏好评分。
• 使用FID分数评估图像质量，并将自动化评分与人类偏好进行比较，以验证其一致性。

Figure 1: Qualitative Examples from Image Editing on EditVal . We find that for non-spatial edits (e.g., Changing background, color of an object, adding objects ), Instruct-Pix2Pix performs well, while other methods struggle. For spatial edits (e.g., Position-replacement), none of the editing method

实验结果

研究问题

• RQ1 EditVal中的自动化评估流程在不同编辑类型中与人类偏好的相关性如何？
• RQ2 在13种不同编辑类型中，哪些文本引导图像编辑方法表现最佳？
• RQ3 当前方法在执行编辑时，多大程度上保留了原始图像属性？
• RQ4 为何大多数方法在重定位或替换物体位置等空间编辑操作中表现失败？
• RQ5 是否存在一种方法在所有13种编辑类型中始终优于其他方法？

主要发现

• EditVal中的自动化评估流程与人类偏好表现出强烈正相关，验证了其在大规模基准测试中的可靠性。
• Instruct-Pix2Pix和Null-Text在自动化评分中表现最高，并在保留原始图像属性方面表现最佳，显示出更高的保真度。
• SINE在自动化评分中排名靠前，但无法保留原始图像结构，表明编辑准确性与图像一致性之间存在权衡。
• 所有方法在空间编辑（如重定位或替换物体位置）中均表现显著不佳，揭示了当前最先进方法中的关键失败模式。
• 没有单一方法在全部13种编辑类型中均排名第一，表明尚无方法在所有多样化编辑操作中普遍占优。
• Instruct-Pix2Pix在所有方法中FID分数最低，表明其在潜在空间中的图像质量最优，紧随其后的是DiffEdit。

Figure 2: EditVal contains 648 unique image-edit operations across 19 classes from MS-COCO spanning a variety of real-world edits. Edit types span simple categories like adding or replacing an object to more complex ones such as changing an action, viewpoint or replacing the position of an object.