[論文レビュー] DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing

Yujun Shi, Chuhui Xue+6 more|arXiv (Cornell University)|Jun 26, 2023

Generative Adversarial Networks and Image Synthesis被引用数 15

ひとこと要約

DragDiffusion はインタラクティブなポイントベースの画像編集を拡張し、拡散モデルに対して正確で柔軟な編集を、単一の拡散ステップ潜在を最適化することで実現し、アイデンティティの保持と新しい DragBench ベンチマークを提供します。

ABSTRACT

Accurate and controllable image editing is a challenging task that has attracted significant attention recently. Notably, DragGAN is an interactive point-based image editing framework that achieves impressive editing results with pixel-level precision. However, due to its reliance on generative adversarial networks (GANs), its generality is limited by the capacity of pretrained GAN models. In this work, we extend this editing framework to diffusion models and propose a novel approach DragDiffusion. By harnessing large-scale pretrained diffusion models, we greatly enhance the applicability of interactive point-based editing on both real and diffusion-generated images. Our approach involves optimizing the diffusion latents to achieve precise spatial control. The supervision signal of this optimization process is from the diffusion model's UNet features, which are known to contain rich semantic and geometric information. Moreover, we introduce two additional techniques, namely LoRA fine-tuning and latent-MasaCtrl, to further preserve the identity of the original image. Lastly, we present a challenging benchmark dataset called DragBench -- the first benchmark to evaluate the performance of interactive point-based image editing methods. Experiments across a wide range of challenging cases (e.g., images with multiple objects, diverse object categories, various styles, etc.) demonstrate the versatility and generality of DragDiffusion. Code: https://github.com/Yujun-Shi/DragDiffusion.

研究の動機と目的

• 拡散モデルを用いたインタラクティブなポイントベースの画像編集を促進し、GAN の制限を克服する。
• 実画像および拡散生成画像上で正確で意味的に整合した編集を実現する。
• 編集中に画像のアイデンティティを保持しつつ、領域特異的な修正を可能にする。

提案手法

• 入力画像のアイデンティティを保持するために LoRA で拡散モデル UNet を微調整する。
• 入力画像を拡散潜在に反転させ、ハンドルからターゲットへの編集を実現するために単一の拡散ステップ潜在を最適化する。
• 参照潜在をガイドとして拡散除噪する DDIM を適用し、一貫性と画像品質を維持する。
• UNet の特徴マップに基づく損失とマスク付き正則化項を用いたモーション監督でドラッグベースの編集を推進する。
• 編集中の対応を維持するために反復中のハンドルポイントを UNet の特徴マップで追跡する。
• オリジナル潜在特徴を用いて除噪プロセスを導くことでアイデンティティ整合性を改善する参照潜在コントロールを導入する。

実験結果

リサーチクエスチョン

• RQ1 ドラッグGANと同じドラッグベースのパラダイムで拡散モデルは正確でインタラクティブなポイントベース編集をサポートできるのか？
• RQ2 どのような潜在最適化戦略とサポート機構（アイデンティティ保持、参照ガイダンス）が、実画像と拡散生成画像の両方で信頼性の高い編集を可能にするか？
• RQ3 拡散ベースのエディタは忠実度と正確なドラッグ性において GAN ベースの DragGAN とどう比較されるか、さまざまな画像ドメインで？
• RQ4 専用ベンチマーク DragBench は拡散ベースのインタラクティブ編集手法の長所と限界を明らかにするか？

主な発見

• DragDiffusion は DragGAN に比べて、実画像および拡散生成画像の両方でコンテンツ補完を含む編集の柔軟性を大幅に向上させる。
• 編集は複数ステップではなく単一の拡散ステップ潜在の最適化に依存し、UNet の特徴の PCA ベースの観察によって支えられる。
• アイデンティティを保持する微調整（LoRA）と参照潜在コントロールは、画像アイデンティティと編集の一貫性を維持するために重要。
• DragBench は多様なデータセットと編集性能を定量化する二つの指標（Image Fidelity と Mean Distance）を提供する。
• アブレーションにより最適な反転ステップの範囲（t in [30,40]）と、80 のアイデンティティ保持微調整ステップが性能と効率のバランスを取る。
• 深いブロックの UNet 特徴を使用すると忠実度が向上する一方で、非常に高レベルの特徴は正確な空間制御を妨げる可能性がある。