[論文レビュー] Harnessing the Spatial-Temporal Attention of Diffusion Models for High-Fidelity Text-to-Image Synthesis

Qiucheng Wu, Yujian Liu+5 more|arXiv (Cornell University)|Apr 7, 2023

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

本論文は、空間的・時間的クロスアテンションを明示的に制御することで、生成の忠実度を向上させる新しいテキストから画像への拡散モデルを提案する。レイアウト予測器を用いてオブジェクト領域を定義し、学習可能なアテンション最適化器を用いて、ノイズ除去ステップ全体でグローバルおよびローカルなテキストアテンションのバランスを動的に制御することで、拡散バックボーンの微調整なしに、複雑なテキスト記述と高い整合性を達成する。

ABSTRACT

Diffusion-based models have achieved state-of-the-art performance on text-to-image synthesis tasks. However, one critical limitation of these models is the low fidelity of generated images with respect to the text description, such as missing objects, mismatched attributes, and mislocated objects. One key reason for such inconsistencies is the inaccurate cross-attention to text in both the spatial dimension, which controls at what pixel region an object should appear, and the temporal dimension, which controls how different levels of details are added through the denoising steps. In this paper, we propose a new text-to-image algorithm that adds explicit control over spatial-temporal cross-attention in diffusion models. We first utilize a layout predictor to predict the pixel regions for objects mentioned in the text. We then impose spatial attention control by combining the attention over the entire text description and that over the local description of the particular object in the corresponding pixel region of that object. The temporal attention control is further added by allowing the combination weights to change at each denoising step, and the combination weights are optimized to ensure high fidelity between the image and the text. Experiments show that our method generates images with higher fidelity compared to diffusion-model-based baselines without fine-tuning the diffusion model. Our code is publicly available at https://github.com/UCSB-NLP-Chang/Diffusion-SpaceTime-Attn.

研究の動機と目的

• テキストから画像への拡散モデルにおける低品質な画像生成、特に欠落したオブジェクト、一致しない属性、誤った位置のオブジェクトを解決すること。
• 空間（ピクセル位置）および時間（ノイズ除去ステップ）の両次元におけるクロスアテンションの正確性を向上させること。
• 微調整なしに、複雑でレアな、または非一般的なテキスト記述に対しても高忠実度の画像生成を可能にすること。
• 画像生成中に空間的および時間的次元でアテンションダイナミクスに対して明示的かつ学習可能な制御を提供すること。

提案手法

• レイアウト予測器が、記述またはユーザー入力からテキストに言及された各オブジェクトの空間的領域を生成する。
• グローバルなテキストアテンションと、予測されたオブジェクト領域内のローカルなオブジェクト固有アテンションを組み合わせることで、空間的アテンションを再重み付けする。
• 時間的アテンション制御は、ノイズ除去ステップに跨ってアテンションの組み合わせ重みが変化可能であるように実装する。
• アテンション重みは、画像-テキスト整合性を最大化するためにCLIPベースの目的関数を用いて、エンドツーエンドで最適化する。
• この手法は、事前学習済みの拡散モデルの重みを保持する、インフェレンス時モジュールとしてのプラグインとして動作する。
• 最適化プロセスは、人間の絵の描き方を模倣する：まずグローバルなレイアウトを描き、次に段階的な詳細の精錬を行う。

実験結果

リサーチクエスチョン

• RQ1 テキストから画像への拡散モデルにおけるクロスアテンションに、空間的・時間的制御を明示的に行うことで、画像忠実度が向上するか？
• RQ2 ノイズ除去ステップに跨る動的アテンション重み付けは、オブジェクトの局在化および属性の一貫性にどのように影響するか？
• RQ3 本手法は、拡散モデルの微調整なしに、レアで複雑なテキスト記述に一般化可能か？
• RQ4 グローバルおよびローカルなテキストアテンションの組み合わせは、オブジェクトのリコール率および空間的関係の正確性を向上させるか？

主な発見

• 非一般的なオブジェクトペア、属性、空間的関係を含む合成データセットにおいて、本手法は42.4％のオブジェクトリコール率および59.6％の空間的関係正確度を達成し、すべてのベースラインを上回った。
• 本手法は、Stable Diffusionやその他のベースラインで見られる一般的な失敗要因（欠落オブジェクト、誤った位置のオブジェクト、属性の不一致）を効果的に解消した。
• 主観的評価では、67.1％の作業者が、本手法で生成された画像をベースラインよりも全体的な忠実度および品質で好むと回答した。
• オブジェクト中心予測におけるレイアウト予測器の正確性が性能に影響を与え、エッジに局在化された予測はオブジェクトの欠落を引き起こした。
• 予測されたオブジェクト領域を画像のエッジから内側にずらすことで、失敗事例が解消された。これは、空間的局在化の品質が極めて重要であることを示唆している。