[論文レビュー] SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations

Chenlin Meng, Yutong He+5 more|arXiv (Cornell University)|Aug 2, 2021

Generative Adversarial Networks and Image Synthesis被引用数 299

ひとこと要約

SDEdit は、事前学習済みのスコアベース拡散モデルを用いて、タスク固有の訓練を必要とせずに、ユーザーガイドからのガイド付き画像合成と編集を実行し、現実さと忠実度のバランスを取る。

ABSTRACT

Guided image synthesis enables everyday users to create and edit photo-realistic images with minimum effort. The key challenge is balancing faithfulness to the user input (e.g., hand-drawn colored strokes) and realism of the synthesized image. Existing GAN-based methods attempt to achieve such balance using either conditional GANs or GAN inversions, which are challenging and often require additional training data or loss functions for individual applications. To address these issues, we introduce a new image synthesis and editing method, Stochastic Differential Editing (SDEdit), based on a diffusion model generative prior, which synthesizes realistic images by iteratively denoising through a stochastic differential equation (SDE). Given an input image with user guide of any type, SDEdit first adds noise to the input, then subsequently denoises the resulting image through the SDE prior to increase its realism. SDEdit does not require task-specific training or inversions and can naturally achieve the balance between realism and faithfulness. SDEdit significantly outperforms state-of-the-art GAN-based methods by up to 98.09% on realism and 91.72% on overall satisfaction scores, according to a human perception study, on multiple tasks, including stroke-based image synthesis and editing as well as image compositing.

研究の動機と目的

• ユーザーガイドに忠実でありつつ現実的であるガイド付き画像合成と編集を動機づけ、実現する。
• 新しい編集タスクのためのタスク特有の訓練データと損失設計を避ける。
• ユーザーガイダンスと画像の現実感を統合するために、事前学習済みの拡散ベースの生成事前分布を活用する。

提案手法

• ガイド付き画像合成/編集を、ノイズのかかったユーザーガイドの状態から VE-SDE を反転することとして定式化する。
• 時刻 t0 でガイドにガウスノイズを追加し、反転SDEを実行して x(0) を生成する。
• denoising score matching によって訓練された勾配 log p_t(x) を近似する事前学習済みスコアモデル s_theta(x(t), t) を使用する。
• Euler-Maruyama（式4）で反転SDEを離散化して最終画像を生成する。
• t0 というハイパーパラメータを介して現実性と忠実度のトレードオフを提供する。t0 が大きいほど現実性は高いが忠実度は低くなる。

実験結果

リサーチクエスチョン

• RQ1 多様なガイドに対して、タスク特異の訓練なしで現実的かつ忠実な編集を1つの事前学習済み拡散ベースの事前分布で実現できるか。
• RQ2 反転SDEにおける開始時刻 t0 と現実性・忠実度のバランスはどう変化するか。
• RQ3 SDEdit はストロークベースの生成、ストロークベースの編集、画像合成を、GANベースのベースラインと比較してどのように性能を示すか。

主な発見

• SDEdit はストロークベースの生成において現実性と人間評価での総合満足度の点で最先端のGANベース手法を上回り、LSUN Bedroom データで特定のベースラインを用いた場合、現実性が最大 98.09%、満足度が 91.72% に達した。
• SDEdit は LSUN および CelebA-HQ データセットでストロークベースの編集に対してベースラインより忠実かつ現実的な結果を達成する。
• 画像合成では、SDEdit は忠実性と現実性を向上させ、従来のブレンディングやGANベースのベースラインと比較して総合満足度が最大 83.73% 改善される。
• 現実性と忠実度のトレードオフは t0 によって制御でき、妥当なガイドはしばしば [0.3, 0.6] の範囲で t0 が必要となる。
• ガイド-to-出力の逸脱に対する確率的境界を t0 によって増大する形で提供する提案があり、このトレードオフを説明する。
• この方法は事前学習済みの SDE モデルのみを必要とし、タスク特有の訓練データには依存しない。