[論文レビュー] Blended Latent Diffusion

Omri Avrahami, Ohad Fried+1 more|arXiv (Cornell University)|Jun 6, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、事前学習済みテキストから画像への拡散モデルの潜在空間で動作する、ゼロショットで高速化されたローカルなテキストガイド付き画像編集手法、Blended Latent Diffusionを提案する。拡散中に潜在変数をブレンドし、再構築を最適化することで、特に細いマスクや感受性の高い画像領域において、従来手法よりも高速で高精度な推論を達成する。

ABSTRACT

The tremendous progress in neural image generation, coupled with the emergence of seemingly omnipotent vision-language models has finally enabled text-based interfaces for creating and editing images. Handling generic images requires a diverse underlying generative model, hence the latest works utilize diffusion models, which were shown to surpass GANs in terms of diversity. One major drawback of diffusion models, however, is their relatively slow inference time. In this paper, we present an accelerated solution to the task of local text-driven editing of generic images, where the desired edits are confined to a user-provided mask. Our solution leverages a recent text-to-image Latent Diffusion Model (LDM), which speeds up diffusion by operating in a lower-dimensional latent space. We first convert the LDM into a local image editor by incorporating Blended Diffusion into it. Next we propose an optimization-based solution for the inherent inability of this LDM to accurately reconstruct images. Finally, we address the scenario of performing local edits using thin masks. We evaluate our method against the available baselines both qualitatively and quantitatively and demonstrate that in addition to being faster, our method achieves better precision than the baselines while mitigating some of their artifacts.

研究の動機と目的

• 一般の画像に対する効率的で正確なローカルなテキスト駆動型画像編集手法の不足に対処する。
• ローカル編集タスクにおけるピクセルレベルの拡散モデルの遅い推論速度を克服する。
• 元の画像の詳細、特に顔やテキストのような感受性の高い領域を保ちながら、潜在空間で高忠実度のローカル編集を可能にする。
• 低解像度の潜在空間で扱いにくい細いマスク内の編集を解決する。
• 微調整や追加学習を必要とせず、事前学習済みモデルのみを用いたゼロショットソリューションを提供する。

提案手法

• ピクセルレベルのブレンドを潜在空間でのブレンドに置き換えることで、潜在拡散モデル（LDM）の潜在空間で動作するようにBlended Diffusionを適応し、推論速度を向上させる。
• VAEによる損失あり符号化に起因する再構築誤差を是正するための潜在最適化技術を導入し、特に感受性の高い領域での忠実度を向上させる。
• 拡散プロセス中にマスクサイズを段階的に縮小することで、細いマスク内での正確な編集を可能にする拡張マスク縮小戦略を提案する。
• 複数の生成結果の間でテキストと画像の整合性を高めるために、CLIPを用いてゼロショットでテキスト-画像整合性をランキングする。
• 微調整や再学習を一切行わず、事前学習済みのLDMおよびCLIPモデルを基盤として利用する。
• 潜在ブレンドと反復的最適化を組み合わせることで、ローカル編集における速度、精度、意味的整合性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における拡散が、高速性と正確性を維持したまま、ローカルでテキストガイド付きの画像編集に効果的に適応可能か？
• RQ2 特に感覚的に感受性の高い領域において、LDMにおける再構築アーティファクトはどのように軽減できるか？
• RQ3 低解像度の潜在空間で空間的に制限された細いマスク内での編集を正確に行うにはどのような戦略が必要か？
• RQ4 Blended Diffusion や GLIDE と比較して、提案手法は速度と品質の面でどの程度優れているか？
• RQ5 入力プロンプト、マスク、画像コンテンツのわずかな変化に対して、この手法はどの程度感度を示すか？

主な発見

• CLIPランキングを伴うフルバッチ版Blended Diffusionを比較対象とすると、本手法はピクセルレベルのベースラインと比べて著しく高速な推論を達成した。
• 定量的評価では視覚的品質およびテキスト整合性において統計的に有意な改善（p < 0.001）が確認され、Blended Diffusion、GLIDE-filtered、PaintByWord++を上回った。
• 提案されたマスク縮小戦略のおかげで、特に細いマスクの状況下でもより正確な編集が可能になった。
• 潜在最適化により、顔やテキストのような高周波数または感覚的に感受性の高い領域での再構築誤差が効果的に低減された。
• 本手法は入力変更に対してやや感度を示すが、小さなプロンプトやマスクの変更に対しては小さな、妥当な出力の変化が生じるため、制御性が保たれている。
• CLIPベースのランキングは性能にとって不可欠であり、単一サンプル出力ではしばしばプロンプトと一致せず、ランキングにより生成の一貫性が向上した。