[論文レビュー] LDEdit: Towards Generalized Text Guided Image Manipulation via Latent Diffusion Models

Paramanand Chandramouli, Kanchana Vaishnavi Gandikota|arXiv (Cornell University)|Oct 5, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

LDEditは、潜在拡散モデル（LDM）を用いて、最適化を伴わず、ゼロショットで一般化されたテキストガイドド画像操作を実現する手法を提案する。潜在空間における決定的DDIMサンプリングと、ターゲットテキストプロンプトに基づく逆拡散の条件付けを活用することで、顔の特徴、色、アートスタイルなどの局所的・グローバルな属性を微調整なしに高速かつ柔軟に編集可能であり、速度とユーザーランクの両面でベースラインを上回る性能を発揮する。

ABSTRACT

Research in vision-language models has seen rapid developments off-late, enabling natural language-based interfaces for image generation and manipulation. Many existing text guided manipulation techniques are restricted to specific classes of images, and often require fine-tuning to transfer to a different style or domain. Nevertheless, generic image manipulation using a single model with flexible text inputs is highly desirable. Recent work addresses this task by guiding generative models trained on the generic image datasets using pretrained vision-language encoders. While promising, this approach requires expensive optimization for each input. In this work, we propose an optimization-free method for the task of generic image manipulation from text prompts. Our approach exploits recent Latent Diffusion Models (LDM) for text to image generation to achieve zero-shot text guided manipulation. We employ a deterministic forward diffusion in a lower dimensional latent space, and the desired manipulation is achieved by simply providing the target text to condition the reverse diffusion process. We refer to our approach as LDEdit. We demonstrate the applicability of our method on semantic image manipulation and artistic style transfer. Our method can accomplish image manipulation on diverse domains and enables editing multiple attributes in a straightforward fashion. Extensive experiments demonstrate the benefit of our approach over competing baselines.

研究の動機と目的

• 任意のテキストプロンプトを用いたオープンドメイン画像操作のための高速で柔軟な手法の開発。
• 微調整を必要とするか、特定の画像クラスや操作タスクに制限される既存手法の限界を克服すること。
• 1つの事前学習済みモデルを用いて、複数の属性やアートスタイルをゼロショットで編集可能にすること。
• コンテンツの一貫性とアイデンティティを保持しながら、高い推論速度とスケーラビリティを達成すること。
• 局所的編集、グローバルなスタイル転送、ストロークから画像への翻訳を含む、多様な編集タスクを統合するフレームワークの提供。

提案手法

• 低次元の潜在空間におけるテキストから画像への生成に、事前学習済みの潜在拡散モデル（LDM）を活用する。
• 決定的前向きDDIMサンプリングを用いて、元の画像を共有潜在表現に符号化する。
• 編集画像の生成にあたり、共有潜在コードとターゲットテキストプロンプトの両方に条件付けられた逆拡散プロセスを適用する。
• 出力の忠実度と多様性のトレードオフを、制御された確率的要因を用いて調整する。
• 事前学習済みLDMにテキスト条件付けを直接適用することで、反復的最適化や微調整を回避する。
• 属性編集やスタイル転送を含む多様な編集タスクに、同一のモデルアーキテクチャと推論パイプラインを適用する。

実験結果

リサーチクエスチョン

• RQ1 最適化や微調整を一切行わず、1つの事前学習済みLDMを用いてゼロショットでのテキストガイドド画像操作が可能かどうか。
• RQ2 局所的属性変更やグローバルなスタイル転送を含む多様な編集タスクに、この手法がどの程度一般化できるか。
• RQ3 最適化ベースのベースラインと比較して、提案手法の推論速度とメモリ効率はどの程度か。
• RQ4 VQGAN+CLIP や DiffusionCLIP といった既存手法と比較して、ユーザーランクにおけるLDEditの評価はいかがなっているか。
• RQ5 意味的属性を変更しながらも、アイデンティティとコンテンツ構造をどの程度保持できるか。

主な発見

• 人間評価において、LDEditはVQGAN+CLIPに対して83.87%のユーザーランクを達成し、明確な視覚的品質と編集精度を示した。
• DiffusionCLIPと比較して49.15%のユーザーランクを記録し、後者と同様に微調整を施しているにもかかわらず、競争力のある性能を発揮した。
• 1枚の画像に対するLDEditの推論時間は2.02秒 ± 5.58ミリ秒であり、VQGAN+CLIP（4～6分）よりも顕著に高速で、DiffusionCLIP（4.01～11.54秒）と同等の速度であった。
• 1枚の画像処理に8.8GBのGPUメモリを要し、VQGAN+CLIP（10.4GB）より少なく、DiffusionCLIP（5.4GB）よりも顕著に少ない。
• 顔画像において、化粧、表情、しわなど複数の属性を同時に編集しながらも、アイデンティティを保持することができた。
• マスクを一切使用せず、テキストプロンプトのみで、帽子に花を追加する、眼鏡を追加するなどの局所的編集が可能となった。