[論文レビュー] Energy-Based Cross Attention for Bayesian Context Update in Text-to-Image Diffusion Models

Geon Yeong Park, Jeongsol Kim+3 more|arXiv (Cornell University)|Jun 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、エネルギーに基づく事後分布推定を通じて文脈ベクトルを段階的に更新することで、微調整なしにテキスト-画像拡散モデルにおける意味的整合性を向上させる、トレーニングフリーでベイジアンなフレームワーク、Energy-Based Cross Attention (EBCA) を提案する。交差自己注意機構内の階層的エネルギー関数を最小化することで、微調整なしにゼロショットの構成的生成が可能となり、ファインチューニングを伴わずに、複数概念生成、インpainting、画像編集タスクにおける意味的不整合を顕著に低減する。

ABSTRACT

Despite the remarkable performance of text-to-image diffusion models in image generation tasks, recent studies have raised the issue that generated images sometimes cannot capture the intended semantic contents of the text prompts, which phenomenon is often called semantic misalignment. To address this, here we present a novel energy-based model (EBM) framework for adaptive context control by modeling the posterior of context vectors. Specifically, we first formulate EBMs of latent image representations and text embeddings in each cross-attention layer of the denoising autoencoder. Then, we obtain the gradient of the log posterior of context vectors, which can be updated and transferred to the subsequent cross-attention layer, thereby implicitly minimizing a nested hierarchy of energy functions. Our latent EBMs further allow zero-shot compositional generation as a linear combination of cross-attention outputs from different contexts. Using extensive experiments, we demonstrate that the proposed method is highly effective in handling various image generation tasks, including multi-concept generation, text-guided image inpainting, and real and synthetic image editing. Code: https://github.com/EnergyAttention/Energy-Based-CrossAttention.

研究の動機と目的

• 生成画像が意図したテキスト的コンセプトを反映しない、テキスト-画像拡散モデルにおける意味的不整合を是正すること。
• 固定で凍結されたテキスト埋め込みに依存するのではなく、$ p(\text{文脈} \mid \text{表現}) $ の事後分布をモデル化することで、文脈ベクトルの品質を向上させること。
• エネルギーに基づくモデル（EBM）の固有の構成性を活用し、再トレーニングなしにゼロショットの構成的生成を可能とすること。
• Stable Diffusion などの既存の拡散モデルと互換性がある、プラグアンドプレイでトレーニングフリーのソリューションを提供すること。
• 多様なタスク、特に複数概念生成、テキスト誘導インpainting、実画像および合成画像の編集において、有効性を実証すること。

提案手法

• 各交差自己注意層において、$ E(K_l; Q_{t,l}) $ のエネルギー関数を定式化し、$ p(K_l \mid Q_{t,l}) $ をモデル化する。ここで $ K_l $ はキー（文脈）、$ Q_{t,l} $ はクエリ（画像表現）を表す。
• 文脈ベクトルの対数事後分布の勾配を導出し、後続の層に伝播する段階的で適応的な更新を可能にする。
• 文脈ベクトルの滑らかな最大値 $ \|k_i\| $ を適応的に正則化するための事前エネルギー関数 $ \operatorname{E}(K) $ を導入し、過剰なペナルティを回避する。
• 計算コストと性能のバランスを考慮し、後続層に伝播する1ステップの文脈更新を採用する。
• 複数のエネルギーに基づく文脈ベクトルからの交差自己注意出力の線形結合により、ゼロショットの構成的生成を実現する。
• モデルの微調整や追加学習を一切行わず、推論時のみにフレームワークを適用する。

Figure 1: The energy-based cross-attention improves the semantic alignment between given text and the generated sample. The proposed method could be leveraged for multiple applications without additional training.

実験結果

リサーチクエスチョン

• RQ1 エネルギーに基づく事後分布推定は、拡散モデルにおけるテキストプロンプトと生成画像の間の意味的整合性を向上させ得るか？
• RQ2 エネルギー関数の最小化による適応的文脈更新は、複数概念生成および画像編集にどのような影響を及ぼすか？
• RQ3 提案手法は再トレーニングなしにゼロショットの構成的生成を可能にするか？
• RQ4 適応的事前エネルギー関数は、一様な正則化と比較して、顕著な文脈ベクトルの抑制を効果的に防ぐか？
• RQ5 文脈更新の回数が、画像品質および意味的忠実度に与える影響は何か？

主な発見

• 提案されたEBCA手法は、特に「ライオンと王冠」のような複数概念タスクにおいて、生成品質の向上により、意味的不整合が顕著に低減されることを示した。
• 正則化強度 $ \alpha $ が増加するにつれて、顕著な文脈的要素（例：王冠、ライオン）が段階的に消失するが、これは適応的ペナルティが主要コンセプトの保存に有効であることを確認する。
• 最終時刻の文脈ベクトル $ C_T $ を固定埋め込みとして使用した場合でも、意味的に正確な生成が得られ、適応的更新が意図された意味を保存していることを示した。
• 複数ステップの文脈更新は画像品質を向上させるが、計算コストが高いため、最適なパフォーマンスを達成するには1ステップ更新で十分であることが示された。
• 本手法は、トレーニングなしに、実画像および合成画像の編集（例：馬をゼブラに、ネコをイヌに）をテキストプロンプトのみで効果的に実行可能である。
• 複数のエネルギーに基づく文脈ベクトルからの交差自己注意出力の線形結合により、ゼロショットの構成的編集が可能となり、柔軟かつ直感的な操作が可能である。

Figure 2: Comparison between the Stable-Diffusion and the proposed method. ( A ) The Stable-Diffusion uses fixed context embedding encoded by pre-trained CLIP. ( B ) The proposed method allows adaptive context embedding through energy-based context update (EBCU) and energy-based composition of queri