[論文レビュー] EditVal: Benchmarking Diffusion Based Text-Guided Image Editing Methods

Samyadeep Basu, Mehrdad Saberi+6 more|arXiv (Cornell University)|Oct 3, 2023

Cell Image Analysis Techniques被引用数 5

ひとこと要約

この論文では、拡散モデルを用いたテキスト誘導型画像編集手法を評価するための標準化ベンチマーク、EditValを紹介する。19のオブジェクトクラス、13種類の編集タイプ、視覚言語モデルおよび大規模な研究を用いた自動/人間評価パイプラインを統合し、どの手法も空間的編集においては全体的に優れた性能を発揮しないことが判明。特にInstruct-Pix2PixとNull-Textが全体的に優れた忠実性と元の画像特性の保持を示した。

ABSTRACT

A plethora of text-guided image editing methods have recently been developed by leveraging the impressive capabilities of large-scale diffusion-based generative models such as Imagen and Stable Diffusion. A standardized evaluation protocol, however, does not exist to compare methods across different types of fine-grained edits. To address this gap, we introduce EditVal, a standardized benchmark for quantitatively evaluating text-guided image editing methods. EditVal consists of a curated dataset of images, a set of editable attributes for each image drawn from 13 possible edit types, and an automated evaluation pipeline that uses pre-trained vision-language models to assess the fidelity of generated images for each edit type. We use EditVal to benchmark 8 cutting-edge diffusion-based editing methods including SINE, Imagic and Instruct-Pix2Pix. We complement this with a large-scale human study where we show that EditVall's automated evaluation pipeline is strongly correlated with human-preferences for the edit types we considered. From both the human study and automated evaluation, we find that: (i) Instruct-Pix2Pix, Null-Text and SINE are the top-performing methods averaged across different edit types, however {\it only} Instruct-Pix2Pix and Null-Text are able to preserve original image properties; (ii) Most of the editing methods fail at edits involving spatial operations (e.g., changing the position of an object). (iii) There is no `winner' method which ranks the best individually across a range of different edit types. We hope that our benchmark can pave the way to developing more reliable text-guided image editing tools in the future. We will publicly release EditVal, and all associated code and human-study templates to support these research directions in https://deep-ml-research.github.io/editval/.

研究の動機と目的

• テキスト誘導型画像編集手法（拡散モデルを用いる）における標準化された評価プロトコルの欠如に対処すること。
• 多様な編集タイプにわたる公平でスケーラブルで定量的な比較を可能にするベンチマークの開発。
• 大規模な人間研究を用いて、自動評価パイプラインが人間の好みとどの程度一致するかを検証すること。
• 最先端の編集手法が、細分化された編集タイプにおいてどのように成功・失敗するかを同定すること。
• 今後の研究を支援するため、EditValを公開すること。

提案手法

• MS-COCOから1,000枚の画像を収集し、19のオブジェクトクラスをカバー。視覚的特性に多様性を持たせ、テストの多様性を確保。
• オブジェクト追加、色の変更、位置の置換など13種類の明確に区別された編集タイプを定義。各画像に対して手動で編集可能な属性をアノテート。
• 一貫性のある入力を確保するため、テンプレート（例：「ドーナツを皿の左に移動してください」）を用いて標準化されたテキストプロンプトを構築。
• 事前学習済みの視覚言語モデル（例：CLIP、DINO）を用いて、編集の忠実性を定量的にスコア化する自動評価パイプラインを実装。
• 構造化されたテンプレートを用いて、1,000組の画像-編集ペアに対して人間の好みスコアを収集する大規模な人間研究を実施。
• FIDスコアを用いて画像品質を評価。自動スコアと人間の好みの一致を検証するため比較。

Figure 1: Qualitative Examples from Image Editing on EditVal . We find that for non-spatial edits (e.g., Changing background, color of an object, adding objects ), Instruct-Pix2Pix performs well, while other methods struggle. For spatial edits (e.g., Position-replacement), none of the editing method

実験結果

リサーチクエスチョン

• RQ1 EditValの自動評価パイプラインは、異なる編集タイプにおいて人間の好みとどの程度相関しているか？
• RQ2 テキスト誘導型画像編集手法の中で、13種類の多様な編集タイプにおいて最も優れた性能を示すのはどれか？
• RQ3 現在の手法は、編集を実行する際、元の画像の特性をどの程度保持しているか？
• RQ4 なぜ多くの手法が、再配置や位置の置換といった空間的編集操作で失敗するのか？
• RQ5 すべての編集タイプにおいて一貫して他を上回る性能を示す単一の手法が存在するか？

主な発見

• EditValの自動評価パイプラインは、人間の好みと強い正の相関を示しており、大規模なベンチマークに信頼性があることを裏付けた。
• Instruct-Pix2PixとNull-Textは、自動スコアが最も高く、元の画像の特性を最もよく保持しており、忠実性の観点で他を上回った。
• SINEは自動スコアで高い順位を記録したが、元の画像構造を保持できず、編集の正確性と画像の一貫性の間にはトレードオフがあることが示唆された。
• すべての手法が空間的編集（例：再配置、位置の置換）において顕著に困難を示しており、最先端技術においても顕著な失敗モードが確認された。
• 13種類の編集タイプすべてにおいて最良の順位を記録する単一の手法は存在せず、あらゆる編集操作に普遍的に優れる手法は存在しないことが判明した。
• Instruct-Pix2Pixは、すべての手法の中で最小のFIDスコアを記録しており、潜在空間における画像品質が優れていた。これに次いでDiffEditも高い性能を示した。

Figure 2: EditVal contains 648 unique image-edit operations across 19 classes from MS-COCO spanning a variety of real-world edits. Edit types span simple categories like adding or replacing an object to more complex ones such as changing an action, viewpoint or replacing the position of an object.