[論文レビュー] Shape-Guided Diffusion with Inside-Outside Attention

Dong Huk Park, Grace Luo+6 more|arXiv (Cornell University)|Dec 1, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、形状に配慮した画像編集のためのトレーニングフリーな手法であるShape-Guided Diffusionを提案する。この手法は、復元段階および生成段階においてInside-Outside Attentionメカニズムを導入することで、テキストから画像への拡散モデルの性能を向上させる。本手法は、テキストの整合性や画像の現実性を損なわずに、オブジェクト編集における形状の忠実度を向上させ、MS-COCOに基づく新しいベンチマークで最先端の性能を達成し、アノテーターの好みが次の最良ベースラインよりも2.7倍高い。

ABSTRACT

We introduce precise object silhouette as a new form of user control in text-to-image diffusion models, which we dub Shape-Guided Diffusion. Our training-free method uses an Inside-Outside Attention mechanism during the inversion and generation process to apply a shape constraint to the cross- and self-attention maps. Our mechanism designates which spatial region is the object (inside) vs. background (outside) then associates edits to the correct region. We demonstrate the efficacy of our method on the shape-guided editing task, where the model must replace an object according to a text prompt and object mask. We curate a new ShapePrompts benchmark derived from MS-COCO and achieve SOTA results in shape faithfulness without a degradation in text alignment or image realism according to both automatic metrics and annotator ratings. Our data and code will be made available at https://shape-guided-diffusion.github.io.

研究の動機と目的

• 既存のテキストから画像への拡散モデルが、オブジェクトを置き換えたり変更したりする際、オブジェクトの形状を保持できないという限界に対処すること。
• アテンションメカニズムを用いて、復元段階および生成段階の両方で形状制約を強制するトレーニングフリーな手法を開発すること。
• オブジェクトの輪郭と空間的構造を保持する必要がある編集タスクにおける形状の忠実度を評価すること。
• 手動で提供されたマスクおよび自動的に推定されたマスク（反射や重複するインスタンスを含む複雑なケースも含む）に対して、有効性を示すこと。
• MS-COCO上で形状ガイドド編集を評価するための新しいベンチマーク、ShapePromptsを確立すること。

提案手法

• オブジェクトマスク内のピクセル（内部）にのみオブジェクトトークンが注目できるように、クロスアテンションおよび自己アテンションマップを変更するInside-Outside Attentionメカニズムを導入する。
• DDIM復元段階および画像生成段階の両方でアテンション制約を適用することで、潜在ノイズ内の形状情報の保持を向上させる。
• 微調整や再トレーニングを伴わない、凍結済みの事前学習済みテキストから画像への拡散モデルを用いる。
• アテンションマップにソフトな形状制約を適用し、アブレーションによりハード制約よりも性能が向上することを示す。
• DDIM復元を用いて、元の画像の形状をよりよく保持するノイズを回復し、その後アテンション制約を用いて精緻化する。
• オブジェクトレベルおよび背景レベルの編集をサポートし、別々のテキストプロンプトを用いて同時に内部・外部の編集も可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のテキストから画像への拡散モデルは、オブジェクトを置き換えたり変更したりする際、形状を保持できないのか？
• RQ2 復元段階および生成段階でアテンションマップを制約することで、トレーニングフリーな手法が形状の忠実度を向上させられるか？
• RQ3 Inside-Outside Attentionは、'背景をコピー'する手法や微調整と比較して、オブジェクトの形状と現実性をどれほどよく保持できるか？
• RQ4 テキストプロンプトや複雑なシーン構造から推定されたマスクに対しても、この手法はどの程度一般化可能か？
• RQ5 空間的整合性とオブジェクト-背景の関係を維持しながら、同時に内部および外部の編集をサポートできるか？

主な発見

• 本手法は、MS-COCO ShapePromptsベンチマークで最先端の形状忠実度を達成し、Inside-Outside Attentionを含まないアブレーションバージョンと比較して、KW-mIoUが9.5ポイント向上した。
• アノテーターは、本手法を43%の確率で最良の編集と選択し、次の最良ベースラインP2P + Shapeよりも2.7倍頻繁に選ばれた。
• 本手法は高い画像現実性とテキスト整合性を維持しており、48%のアノテーターがその優位性を評価した。これは、最も競争力のあるベースラインと比較して1.3倍および1.9倍優れている。
• 生成の最初の半分でのみ形状ガイドランスを適用した場合でも、Inside-Outside Attentionは、初期ステップで弱い形状信号に依存する'背景をコピー'手法よりも強い形状信号を提供する。
• Inside-Outside Attentionを含まないアブレーションでも、P2P + Shapeを除くすべてのベースラインを上回る性能を示しており、DDIM復元とアテンションメカニズムの重要性を確認する。
• 本手法は、クラス内・クラス間のオブジェクト変換、背景編集、および同時に内部・外部の編集を含む多様な編集を成功裏に実行し、元の画像からの空間的および構造的関係を保持した。