[논문 리뷰] EditVal: Benchmarking Diffusion Based Text-Guided Image Editing Methods

Samyadeep Basu, Mehrdad Saberi외 6명|arXiv (Cornell University)|2023. 10. 03.

Cell Image Analysis Techniques인용 수 5

한 줄 요약

이 논문은 확산 모델을 사용한 텍스트 유도 이미지 편집 방법을 평가하기 위한 표준화된 벤치마크인 EditVal을 소개한다. 19개의 객체 클래스, 13종의 편집 유형, 비전-언어 모델과 대규모 연구를 활용한 자동화된/인간 평가 파이프라인을 통합하여, 특정 편집, 특히 공간적 편집에서 단일 방법이 모든 영역에서 뛰어나지 못함을 드러내며, Instruct-Pix2Pix와 Null-Text가 전체적으로 높은 정밀도와 원본 이미지 성질의 유지 능력을 보임.

ABSTRACT

A plethora of text-guided image editing methods have recently been developed by leveraging the impressive capabilities of large-scale diffusion-based generative models such as Imagen and Stable Diffusion. A standardized evaluation protocol, however, does not exist to compare methods across different types of fine-grained edits. To address this gap, we introduce EditVal, a standardized benchmark for quantitatively evaluating text-guided image editing methods. EditVal consists of a curated dataset of images, a set of editable attributes for each image drawn from 13 possible edit types, and an automated evaluation pipeline that uses pre-trained vision-language models to assess the fidelity of generated images for each edit type. We use EditVal to benchmark 8 cutting-edge diffusion-based editing methods including SINE, Imagic and Instruct-Pix2Pix. We complement this with a large-scale human study where we show that EditVall's automated evaluation pipeline is strongly correlated with human-preferences for the edit types we considered. From both the human study and automated evaluation, we find that: (i) Instruct-Pix2Pix, Null-Text and SINE are the top-performing methods averaged across different edit types, however {\it only} Instruct-Pix2Pix and Null-Text are able to preserve original image properties; (ii) Most of the editing methods fail at edits involving spatial operations (e.g., changing the position of an object). (iii) There is no `winner' method which ranks the best individually across a range of different edit types. We hope that our benchmark can pave the way to developing more reliable text-guided image editing tools in the future. We will publicly release EditVal, and all associated code and human-study templates to support these research directions in https://deep-ml-research.github.io/editval/.

연구 동기 및 목표

• 확산 모델을 사용한 텍스트 유도 이미지 편집 방법에 대한 표준화된 평가 프로토콜의 부재를 해결하기 위해.
• 다양한 편집 유형 간 공정하고 확장 가능하며 정량적인 비교를 가능하게 하는 벤치마크를 개발하기 위해.
• 대규모 인간 연구를 통해 자동 평가 파이프라인을 인간 선호도와 대조하여 검증하기 위해.
• 최신 기술적 편집 방법이 미세한 편집 유형 간 성공 및 실패 원인을 규명하기 위해.
• 미래의 신뢰할 수 있는 텍스트 유도 이미지 편집 연구를 지원하기 위해 EditVal을 공개하기 위해.

제안 방법

• MS-COCO에서 1,000장의 이미지를 선별하여 19개의 객체 클래스를 포함하는 데이터셋을 구축하였으며, 다양한 시각적 특성을 확보하여 테스트 다양성을 확보함.
• 각 이미지당 수동으로 편집 가능한 속성을 기록한 13종의 구분 가능한 편집 유형(예: 객체 추가, 색상 변경, 위치 교체)을 정의함.
• 일관된 입력을 확보하기 위해 템플릿(예: '도넛의 위치를 접시의 왼쪽으로 옮기기')을 활용해 표준화된 텍스트 프롬프트를 구성함.
• 사전 학습된 비전-언어 모델(예: CLIP, DINO)을 활용해 편집 정확도를 정량적으로 평가하는 자동 평가 파이프라인을 구현함.
• 인간 선호도 점수를 수집하기 위해 1,000개의 이미지-편집 쌍을 대상으로 구조화된 템플릿을 사용한 대규모 인간 연구를 수행함.
• 이미지 품질을 평가하기 위해 FID 점수를 사용하고, 자동 평가 점수와 인간 선호도 간의 일치성을 검증함.

Figure 1: Qualitative Examples from Image Editing on EditVal . We find that for non-spatial edits (e.g., Changing background, color of an object, adding objects ), Instruct-Pix2Pix performs well, while other methods struggle. For spatial edits (e.g., Position-replacement), none of the editing method

실험 결과

연구 질문

• RQ1 EditVal의 자동 평가 파이프라인이 다양한 편집 유형에서 인간 선호도와 얼마나 잘 상관되는가?
• RQ2 다양한 13종의 편집 유형에서 텍스트 유도 이미지 편집 방법 중 어떤 것이 가장 우수한 성능을 보이는가?
• RQ3 현재 방법들은 편집을 수행할 때 원본 이미지 성질을 어느 정도 유지하는가?
• RQ4 왜 대부분의 방법들이 위치 이동이나 객체 위치 교체와 같은 공간적 편집 작업에서 실패하는가?
• RQ5 모든 편집 유형에서 항상 다른 방법들을 능가하는 단일 방법이 존재하는가?

주요 결과

• EditVal의 자동 평가 파이프라인은 인간 선호도와 강한 정적 상관관계를 보이며, 대규모 벤치마크에 대한 신뢰성 있는 검증을 가능하게 함.
• Instruct-Pix2Pix와 Null-Text는 가장 높은 자동 평가 점수를 기록하며 원본 이미지 성질을 가장 잘 유지하여 정밀도 측면에서 다른 방법들을 압도함.
• SINE는 자동 평가 점수에서 높은 순위를 기록하지만 원본 이미지 구조를 유지하지 못함으로써, 편집 정확도와 이미지 일관성 사이의 상충 관계를 보여줌.
• 모든 방법이 공간적 편집(예: 위치 이동, 객체 위치 교체)에서 심각한 어려움을 겪으며, 최신 기술 전반에 걸쳐 핵심적인 실패 원인이 드러남.
• 단일 방법이 13종의 모든 편집 유형에서 최고의 순위를 차지하지는 않으며, 다양한 편집 작업에서 유일하게 뛰어난 성능을 내는 방법이 존재하지 않음.
• Instruct-Pix2Pix는 모든 방법 중에서 가장 낮은 FID 점수를 기록하여 잠재 공간에서 뛰어난 이미지 품질을 보이며, 그 다음으로 DiffEdit가 뒤이어 있음.

Figure 2: EditVal contains 648 unique image-edit operations across 19 classes from MS-COCO spanning a variety of real-world edits. Edit types span simple categories like adding or replacing an object to more complex ones such as changing an action, viewpoint or replacing the position of an object.