[論文レビュー] Prompt-to-Prompt Image Editing with Cross Attention Control

Amir Hertz, Ron Mokady+4 more|arXiv (Cornell University)|Aug 2, 2022

Modular Robots and Swarm Intelligence被引用数 361

ひとこと要約

本論文は、テキストのみでPrompt-to-Prompt編集を行うフレームワークを提案する。拡散モデル内のクロスアテンションマップを操作してプロンプトを編集することで画像を編集し、マスクなしで元の構造を保持する。

ABSTRACT

Recent large-scale text-driven synthesis models have attracted much attention thanks to their remarkable capabilities of generating highly diverse images that follow given text prompts. Such text-based synthesis methods are particularly appealing to humans who are used to verbally describe their intent. Therefore, it is only natural to extend the text-driven image synthesis to text-driven image editing. Editing is challenging for these generative models, since an innate property of an editing technique is to preserve most of the original image, while in the text-based models, even a small modification of the text prompt often leads to a completely different outcome. State-of-the-art methods mitigate this by requiring the users to provide a spatial mask to localize the edit, hence, ignoring the original structure and content within the masked region. In this paper, we pursue an intuitive prompt-to-prompt editing framework, where the edits are controlled by text only. To this end, we analyze a text-conditioned model in depth and observe that the cross-attention layers are the key to controlling the relation between the spatial layout of the image to each word in the prompt. With this observation, we present several applications which monitor the image synthesis by editing the textual prompt only. This includes localized editing by replacing a word, global editing by adding a specification, and even delicately controlling the extent to which a word is reflected in the image. We present our results over diverse images and prompts, demonstrating high-quality synthesis and fidelity to the edited prompts.

研究の動機と目的

• ユーザー提供のマスクや追加の学習なしで、直感的なテキストベースの画像編集を可能にする動機。
• プロンプトトークンと画像領域の間の意味的ブリッジとしてのクロスアテンション層の検討。
• アテンション操作を用いて画像構造を変更または保持する、プロンプト駆動の編集操作の開発。

提案手法

• テキスト条件付き拡散モデルにおけるクロスアテンションを分析し、プロンプトトークンと空間的画像領域を結びつける。
• レイアウトを保持するため、拡散中に編集済みプロンプトでソース画像のアテンションマップを注入・上書きする。
• 拡散ステップ全体で制御されたアテンション注入によって、編集操作（語の入替え、フレーズの追加、アテンションの再ウェイト付け）を定義する。
• 構造を維持するために共有乱数を用いてソースと編集済みプロンプトの編集を実行する反復的拡散アルゴリズムを提供する。
• 部分的なトークン整合性の処理とタイムスタンプ付き注入を導入し、忠実度と編集性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 テキストから画像への拡散モデルにおけるクロスアテンションマップを、編集時の空間レイアウト制御にどう活用できるか。
• RQ2 マスクや再訓練なしで、 promptsを編集して局所的またはグローバルな画像編集を達成できるか。
• RQ3 元の構図を保ちながらプロンプト変更を適用するための効果的な戦略（例：注入タイミング、ソフト制約）とは何か。
• RQ4 提案手法を実画像に対して逆推定を通じてどのように評価できるか、そしてその限界は何か。
• RQ5 編集済みプロンプトへの忠実度と元画像の構造保持とのトレードオフは何か。

主な発見

• クロスアテンションマップはピクセルとプロンプト語を密接に結びつけ、画像レイアウトを制御するように操作できる。
• 編集済みプロンプトにソースのアテンションマップを注入することで、構図を保持しつつ意味的変化を可能にする。
• タイムスタンプtauによるソフトで部分的なアテンション注入は過制約を緩和し、編集性を維持する。
• 語の入れ替え、新しいフレーズの追加、アテンションの再ウェイト付けといった細かな制御をサポートする。
• 事前結果は、逆推定による実画像編集が可能であることを示しており、マスクベースの精緻化が再構成のギャップを埋める。