[論文レビュー] Grounded Text-to-Image Synthesis with Attention Refocusing

Quynh Phung, Songwei Ge+1 more|arXiv (Cornell University)|Jun 8, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本論文は、レイアウトガイドド損失を用いてクロス注意と自己注意層を正則化することで、トレーニングフリーの注目再焦点化手法を提案し、テキストから画像への合成の制御性を向上させる。GPT-4を活用して空間的レイアウトを生成し、新規のSARおよびR or SAR損失を適用することで、複雑なプロンプトへの整合性が著しく向上—空間的関係やオブジェクト数え上げなどのベンチマークタスクで最大10%の精度向上を達成。

ABSTRACT

Driven by the scalable diffusion models trained on large-scale datasets, text-to-image synthesis methods have shown compelling results. However, these models still fail to precisely follow the text prompt involving multiple objects, attributes, or spatial compositions. In this paper, we reveal the potential causes in the diffusion model's cross-attention and self-attention layers. We propose two novel losses to refocus attention maps according to a given spatial layout during sampling. Creating the layouts manually requires additional effort and can be tedious. Therefore, we explore using large language models (LLM) to produce these layouts for our method. We conduct extensive experiments on the DrawBench, HRS, and TIFA benchmarks to evaluate our proposed method. We show that our proposed attention refocusing effectively improves the controllability of existing approaches.

研究の動機と目的

• 複数のオブジェクト、属性、空間的関係を含む複雑なプロンプトを生成する際、テキストから画像への拡散モデルで継続的に観察される整合性の欠如という問題に対処すること。
• オブジェクトの混合、エンティティの欠落、属性の混同の原因として、クロスおよび自己注意層における注目マップの不整合を特定すること。
• ベースモデルの微調整なしに、明示的な空間的レイアウトを用いて注目マップを再焦点化することで、制御性を向上させる、モデルに依存しないトレーニングフリーの手法を開発すること。
• GPT-4のような大規模言語モデルが、自然言語プロンプトから正確で構造化された空間的レイアウトを生成できるかどうかを検証すること。
• LLMと接地されたテキストから画像への生成を組み合わせることで、反復的で言語ベースの画像修正を可能にすること。

提案手法

• 推論段階でクロスおよび自己注意層の両方において、注目マップを精緻化するための2つの新規損失—SAR（空間的注目正則化）およびR or SAR（オブジェクトレベル正則化を用いた再焦点化）—を提案する。
• 空間的レイアウト（例：ラベル付きのバウンディングボックス）を監視として用い、注目を正しい領域に向け、類似するオブジェクト間の混同を低減する。
• GPT-4を、コンテキスト学習およびプロンプト工学を用いて、自然言語プロンプトから構造的かつ有効なレイアウト表現を生成する。
• 2段階パイプラインを適用：まずLLMでレイアウトを生成し、その後、GLIGEN や ControlNet などの接地された拡散モデルを用いて画像を合成する。
• ベースのテキストから画像モデルの微調整なしに、推論時に損失を適用することで、モデルに依存しない互換性を確保する。
• LLMにレイアウトを変更するプロンプトを提示することで、レイアウトを反復的に修正し、更新された画像を生成するという、反復的画像編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クロスおよび自己注意層における注目不整合が、複数オブジェクト・属性豊富なテキストから画像への生成における失敗を説明できるか？
• RQ2 レイアウトガイドド損失が、注目を再焦点化させ、オブジェクトの混同を低減し、プロンプトとの整合性を向上させることができるか？
• RQ3 GPT-4のような大規模言語モデルが、接地された画像合成に使用するための正確で有効な空間的レイアウトを自然言語プロンプトから生成できるか？
• RQ4 LLMが生成するレイアウトと注目再焦点化損失を組み合わせることで、複雑なベンチマークでベースライン手法を上回ることができるか？
• RQ5 反復的レイアウトの精緻化を通じて、LLMのプロンプトによる対話的で言語ベースの画像編集をこのフレームワークが支援できるか？

主な発見

• GLIGENにSARおよびR or SAR損失を適用することで、TIFAベンチマークで最大10%の性能向上が達成され、空間的関係の精度は6%向上した。
• DrawBench、HRS、TIFAベンチマークの全範囲で、強力なベースラインを一貫して上回り、複雑なプロンプトに対する頑健性を示した。
• GPT-4はHRSベンチマークで、フォーマット正確性98.5%、妥当性98.5%、正しさ88.5%を達成し、Llama 1、Llama 2、GPT-3を上回った。
• GPT-4と注目再焦点化を組み合わせた2段階パイプラインは、単一段階のStable Diffusionを上回り、プロンプト理解力とオブジェクト関係の整合性が向上した。
• 失敗事例は、主に多くのオブジェクトを含むプロンプト、または分布シフトによりレイアウトから画像への整合性が崩れる場合に発生し、特にオブジェクト数え上げやサイズ推定で顕著だった。
• このフレームワークはLLMのプロンプトにより対話的で反復的な画像編集を可能にし、ユーザーが自然言語の指示で画像を段階的に精緻化できる。