[論文レビュー] Direct Inversion: Boosting Diffusion-based Editing with 3 Lines of Code

Xuan Ju, Ailing Zeng+3 more|arXiv (Cornell University)|Oct 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

Direct Inversionは編集のためにソースとター diffusion ブランチを分離し、わずか3行のコードで最適な保存と編集忠実度を達成し、PIE-Benchで最適化ベースの inversionよりも高速化を実証します。

ABSTRACT

Text-guided diffusion models have revolutionized image generation and editing, offering exceptional realism and diversity. Specifically, in the context of diffusion-based editing, where a source image is edited according to a target prompt, the process commences by acquiring a noisy latent vector corresponding to the source image via the diffusion model. This vector is subsequently fed into separate source and target diffusion branches for editing. The accuracy of this inversion process significantly impacts the final editing outcome, influencing both essential content preservation of the source image and edit fidelity according to the target prompt. Prior inversion techniques aimed at finding a unified solution in both the source and target diffusion branches. However, our theoretical and empirical analyses reveal that disentangling these branches leads to a distinct separation of responsibilities for preserving essential content and ensuring edit fidelity. Building on this insight, we introduce "Direct Inversion," a novel technique achieving optimal performance of both branches with just three lines of code. To assess image editing performance, we present PIE-Bench, an editing benchmark with 700 images showcasing diverse scenes and editing types, accompanied by versatile annotations and comprehensive evaluation metrics. Compared to state-of-the-art optimization-based inversion techniques, our solution not only yields superior performance across 8 editing methods but also achieves nearly an order of speed-up.

研究の動機と目的

• Diffusionベースの画像編集における inversion 戦略を動機づけ、最適化ベース inversion の必要性を理解する。
• essential contentを保持しつつ忠実な edits を可能にする、単純でプラグアンドプレイな inversion 手法を提案する。
• ソースとターゲットのブランチを分離することで、重い最適化なしに優れた性能を得られることを示す。
• 標準化されたベンチマーク（PIE-Bench）と堅牢な評価を提供し、 inversion 技術を比較する。

提案手法

• ソースとターゲット diffusion ブランチを分離して、それぞれの役割を割り当てる：ソースの保存とターゲットの忠実度。
• 前方編集プロセスに3行のコードを追加して、 inverted source latent と正順生成 latent の差分を計算し、編集チェーンに再注入する（最適化なし）。
• ターゲットブランチは編集忠実度を最大化するために手を触れない。
• 二段階の手順を実行：a) DDIM Inversion によるソース画像の inversion；b) Direct Inversion による編集を、ソース latent の差分を前方 DDIM ステップに伝播させて実行。
• PIE-Bench を導入、標準化評価のための 700 画像編集ベンチマーク、10 編集タイプと注釈（ prompts, mask ）を提供。

実験結果

リサーチクエスチョン

• RQ1 最適化ベース inversion を、編集忠実度や内容保存を犠牲にせずに、単純な分離ブランチアプローチに置換できるか？
• RQ2 ターゲットブランチを触らずにソース latent のみを修正することで、編集手法全体の安定性と性能が向上するか？
• RQ3 3行コードのプラグアンドプレイ解決策で、拡散ベースの編集でどれだけの速度と精度が得られるか？
• RQ4 標準化されたベンチマーク（PIE-Bench）が inversion 方法の公平な評価に与える影響は何か？

主な発見

Inversion Method	Editing Method	Structure Distance (×10^3) ↓	PSNR ↑	LPIPS (×10^3) ↓	MSE (×10^4) ↓	SSIM ×10^2 ↑	Whole CLIPSIM ↑	Edited CLIPSIM ↑	Notes
DDIM	P2P	69.43	17.87	208.80	219.88	71.14	25.01	22.44	--
NT	P2P	13.44	27.03	60.67	35.86	84.11	24.75	21.86	--
NP	P2P	16.17	26.21	69.01	39.73	83.40	24.61	21.87	--
StyleD	P2P	11.65	26.05	66.10	38.63	83.42	24.78	21.72	--
Ours	P2P	11.65	83%↓	27.22	54.55?	84.76	25.02	22.10	(Direct Inversion)
DDIM	MasaCtrl	28.38	22.17	106.62	86.97	79.67	23.96	21.16	--
Ours	MasaCtrl	24.70	22.64	87.94	81.09	81.33	24.38	21.35	(Direct Inversion)
DDIM	P2P-Zero	61.68	20.44	172.22	144.12	74.67	22.80	20.54	--
Ours	P2P-Zero	49.22	21.53	138.98	127.32	77.05	23.31	21.05	(Direct Inversion)
DDIM	PnP *	28.22	22.28	113.46	83.64	79.05	25.41	22.55	--
Ours	PnP *	24.29	22.46	106.06	80.45	79.68	25.41	22.62	(Direct Inversion)

• Direct Inversionは、5つの inversion 技術に対して8つの編集手法を超える内容保存と編集忠実度を実現します。
• 構造距離で最大で 83.2% の改善、背景 LPIPS で最大で 73.9% の改善、Edit Region CLIPSIM で最大で 8.8% の利得を生み出します。
• 最適化ベースの inversions（例えば NT や StyleDiffusion）に対してほぼ1桁のスピードアップを達成します。
• 8つの編集アプローチを通じて、Direct Inversionは内容保存を最大で 20.2%、編集忠実度を最大で 2.5% 改善します。
• PIE-Bench は 700 枚の画像と 10 編集タイプを注釈付きで提供し、堅牢で標準化された比較を可能にします。