[論文レビュー] The Blessing of Randomness: SDE Beats ODE in General Diffusion-based Image Editing

Shen Nie, Hanzhong Allan Guo+4 more|arXiv (Cornell University)|Nov 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿は、確率的微分方程式（SDE）を用いた拡散型画像編集のための統一的確率的フレームワークを提案する。SDEは、編集の忠実性と整合性において、ODEよりも一貫して優れていることを実証している。SDEを用いた潜在変数の操作として編集を定式化することで、ODEとは異なり、補間、画像変換、点ベースのドラッグといったタスクにおいて優れた性能を達成しており、SDE-Dragは、DragGAN や DiffEdit-ODE といったベースラインと比較して、新規ベンチマーク（DragBench）において顕著な向上を示している。

ABSTRACT

We present a unified probabilistic formulation for diffusion-based image editing, where a latent variable is edited in a task-specific manner and generally deviates from the corresponding marginal distribution induced by the original stochastic or ordinary differential equation (SDE or ODE). Instead, it defines a corresponding SDE or ODE for editing. In the formulation, we prove that the Kullback-Leibler divergence between the marginal distributions of the two SDEs gradually decreases while that for the ODEs remains as the time approaches zero, which shows the promise of SDE in image editing. Inspired by it, we provide the SDE counterparts for widely used ODE baselines in various tasks including inpainting and image-to-image translation, where SDE shows a consistent and substantial improvement. Moreover, we propose SDE-Drag -- a simple yet effective method built upon the SDE formulation for point-based content dragging. We build a challenging benchmark (termed DragBench) with open-set natural, art, and AI-generated images for evaluation. A user study on DragBench indicates that SDE-Drag significantly outperforms our ODE baseline, existing diffusion-based methods, and the renowned DragGAN. Our results demonstrate the superiority and versatility of SDE in image editing and push the boundary of diffusion-based editing methods.

研究の動機と目的

• 理論的観点から、拡散型画像編集のための統一的確率的フレームワークが不足している問題に対処すること。
• 同じ事前学習済み拡散モデルから導出されるにもかかわらず、SDEベースの手法が ODE ベースの手法を上回る理由を解明すること。
• 反復的最適化を潜在空間で行わない、実用的で効果的な点ベースのコンテンツドラッグ用 SDE ベース手法を構築すること。
• SDE ベースの編集手法が、実写、芸術的、AI 生成コンテンツを含むオープンセット画像に対して、一般化性とロバスト性を示すかを評価すること。
• 現実的でオープンセットな条件下で画像編集手法を評価するための新しいベンチマーク（DragBench）を確立すること。

提案手法

• 編集をタスク固有の潜在変数の操作として定式化し、元のモデルとは異なる新しい SDE や ODE を用いてサンプリングする、統一的確率的定式化を提案する。
• 理論的に、SDE の周辺分布間のカルバック・ライブラー（KL）ダイバージェンスが時間に近づくにつれて減少することを証明し、SDE の優位性に理論的根拠を与える。
• SDE ダイナミクスを介して潜在空間に直接コンテンツのポイントをコピー＆ペーストする、単純な手法 SDE-Drag を開発する。反復的最適化を回避する。
• 編集の強度を制御する新しいハイパーパrameter β を導入し、ドラッグには β=0.3 が最適であることが判明。コピーには β=1 が最適。
• 学習されたドリフト関数を用いたマルチステップ SDE サンプリングプロセスを採用し、潜在変数を望みの編集方向へ誘導しながら、画像品質を保持する。
• 100枚のオープンセット画像（自然画像、芸術的、AI 生成）を含む、多様で未知の条件下で手法を評価するための挑戦的なベンチマーク DragBench を構築。

実験結果

リサーチクエスチョン

• RQ1 同じ事前学習済み拡散モデルから導出されるにもかかわらず、SDE ベースの画像編集手法が実際には ODE ベースの手法を上回る理由は何か？
• RQ2 補間、画像対画像変換、点ベースのドラッグといった多様な拡散型編集タスクを統一的に扱える確率的定式化を構築できるか？
• RQ3 SDE の理論的優位性（時間経過による KL ダイバージェンスの減少）が、画像編集の品質および整合性の向上に明確に現れるか？
• RQ4 最適化を多く含むアプローチや GAN ベースの手法と比較して、反復的最適化を一切行わないシンプルな SDE ベース手法（SDE-Drag）が、点ベースのコンテンツドラッグで最先端の性能を達成できるか？
• RQ5 SDE ベースの手法は、Stable Diffusion や DALL·E 3 といった高度な拡散モデルからの画像に対しても、一般化性を示せるか？

主な発見

• DragBench ベンチマークにおいて、SDE-Drag は ODE ベースのベースラインや既存の拡散型手法（例：DiffEdit-ODE）、DragGAN よりも顕著に高いユーザープ references スコアを達成した。
• DiffEdit タスクにおいて、SDE-Drag は t₀=0.3 時点で 7.20 FID スコアを達成し、ODE ベースライン（7.67 FID）を上回った。t₀ のすべての値で一貫した改善が見られた。
• 画像対画像変換タスクにおいて、DDIB-SDE は視覚的比較および定量的指標の両面で、DDIB-ODE よりも高い画像忠実度を示した。
• SDE-Drag は、元のプロンプトが欠落している場合（例：マグカップに稲妻をドラッグ）でも、DALL·E 3 や Stable Diffusion からの画像を正常に編集でき、強力なプロンプト・画像整合性を示した。
• 実写写真、芸術作品、AI 生成コンテンツを含むオープンセット画像に対しても、一般化性能が良好であるが、極めて分布外のコンテンツでは失敗ケースも存在する。
• アブレーションスタディにより、ドラッグには β=0.3 が最適であり、コピーには β=1 が最適であることが確認され、複数のランダムシードで安定した性能を示した。