[論文レビュー] SDEdit: Image Synthesis and Editing with Stochastic Differential Equations

Chenlin Meng, Yang Song+4 more|arXiv (Cornell University)|Aug 2, 2021

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 80

ひとこと要約

SDEditは、再訓練やタスク固有の損失関数を必要とせず、柔軟でゼロショットの編集を可能にする、確率的微分方程式（SDE）を用いた画像生成および編集フレームワークを提案する。ノイズが付加された入力を逆方向のSDEダイナミクスでノイズ除去することで、スクリッチや合成領域などのユーザー入力をガイドとして用い、高品質な画像生成と編集を実現し、条件付きGANよりも適応性と一般化性能に優れる。

ABSTRACT

We introduce a new image editing and synthesis framework, Stochastic Differential Editing (SDEdit), based on a recent generative model using stochastic differential equations (SDEs). Given an input image with user edits (e.g., hand-drawn color strokes), we first add noise to the input according to an SDE, and subsequently denoise it by simulating the reverse SDE to gradually increase its likelihood under the prior. Our method does not require task-specific loss function designs, which are critical components for recent image editing methods based on GAN inversion. Compared to conditional GANs, we do not need to collect new datasets of original and edited images for new applications. Therefore, our method can quickly adapt to various editing tasks at test time without re-training models. Our approach achieves strong performance on a wide range of applications, including image synthesis and editing guided by stroke paintings and image compositing.

研究の動機と目的

• 再訓練を必要とせず、テスト時に新しい編集タスクに適応できる柔軟な画像編集フレームワークの開発。
• 条件付きGANが要請するオリジナル画像と編集済み画像のペairedデータセットの収集を回避すること。
• 最近のGANベースの編集手法で一般的なボトルネックであるタスク固有の損失関数の設計を避けること。
• 事前学習済みの拡散モデルとユーザーが提供する編集情報のみを用いて、高品質な画像生成と編集を実現すること。
• スクリッチガイドド編集や画像合成など、多様な編集タスクにおいて強力なパフォーマンスを達成すること。

提案手法

• まず、前向きのSDEを用いて入力画像にノイズを追加し、拡散プロセスに変換する。
• 次に、逆方向のSDEダイナミクスを適用して徐々にノイズを除去し、学習済みのデータ事前分布下での尤度を高める。
• ユーザーの編集、例えば色のスクリッチや合成領域は、逆方向SDEのノイズ除去プロセス中に条件付け信号として組み込む。
• 微調整や再訓練を必要としないように、事前学習済みのスコアベースの生成モデルを活用する。
• 逆方向SDEは数値積分を用いて解き、高品質な編集済み画像への段階的改善を可能にする。
• このアプローチは本質的に汎用的であり、推論時に新しい編集タスクへの迅速な適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 1つの事前学習済み拡散モデルを、再訓練や微調整なしに多様な画像編集タスクに適用できるか？
• RQ2 SDEditは、ペアドデータセットとタスク固有の損失関数を要する条件付きGANと比較して、どのように性能を発揮するか？
• RQ3 手書きのスクリッチなどのユーザー編集が、ゼロショットの方法で画像生成プロセスをどの程度効果的にガイドできるか？
• RQ4 SDEditは、合成やスクリッチ編集などの複数の応用分野において、高精細な画像生成と編集を達成できるか？
• RQ5 SDEベースのノイズ除去と、代替の最適化ベースやGANベースの逆方向推定手法とを比較した場合、性能にどのような影響を与えるか？

主な発見

• SDEditは、タスク固有の損失関数を必要とせず、設計の複雑さを低減しながらも、優れた性能を達成した。
• この手法により、テスト時に新しい編集タスクへのゼロショット適応が可能になり、再訓練や微調整の必要がなくなった。
• ペアドトレーニングデータに依存しないため、条件付きGANベースの手法よりも一般化性能に優れている。
• スクリッチペイントや画像合成を含む多様な編集入力に対しても、高い視覚的忠実度で処理を実行できた。
• 逆方向SDEダイナミクスを活用することで、ユーザーの編集に整合性があり、構造的・意味的整合性を保った高品質な出力を得られた。