[논문 리뷰] Energy-Based Cross Attention for Bayesian Context Update in Text-to-Image Diffusion Models

Geon Yeong Park, Jeongsol Kim외 3명|arXiv (Cornell University)|2023. 06. 16.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 에너지 기반 사후 추정을 통해 문맥 벡터를 적응적으로 업데이트함으로써 텍스트-이미지 확산 모델에서 의미적 정렬을 향상시키는 훈련 불필요, 베이지안 프레임워크인 에너지 기반 교차 attention(EBCA)을 제안한다. 교차 어텐션 레이어에서 계층적인 에너지 함수를 최소화함으로써 EBCA는 훈련 없이도 구성적 생성을 가능하게 하고, 미세조정 없이도 다중 개념 생성, 인painting, 이미지 편집 작업에서 의미적 이질성을 크게 감소시킨다.

ABSTRACT

Despite the remarkable performance of text-to-image diffusion models in image generation tasks, recent studies have raised the issue that generated images sometimes cannot capture the intended semantic contents of the text prompts, which phenomenon is often called semantic misalignment. To address this, here we present a novel energy-based model (EBM) framework for adaptive context control by modeling the posterior of context vectors. Specifically, we first formulate EBMs of latent image representations and text embeddings in each cross-attention layer of the denoising autoencoder. Then, we obtain the gradient of the log posterior of context vectors, which can be updated and transferred to the subsequent cross-attention layer, thereby implicitly minimizing a nested hierarchy of energy functions. Our latent EBMs further allow zero-shot compositional generation as a linear combination of cross-attention outputs from different contexts. Using extensive experiments, we demonstrate that the proposed method is highly effective in handling various image generation tasks, including multi-concept generation, text-guided image inpainting, and real and synthetic image editing. Code: https://github.com/EnergyAttention/Energy-Based-CrossAttention.

연구 동기 및 목표

• 생성된 이미지가 의도한 텍스트적 개념을 반영하지 못하는 텍스트-이미지 확산 모델에서의 의미적 이질성 문제를 해결하기 위해.
• 고정된, 동결된 텍스트 임베딩에 의존하는 대신, $ p(\text{문맥} \mid \text{표현}) $의 사후 분포를 모델링하여 문맥 벡터의 품질을 향상시키기 위해.
• 에너지 기반 모델(EBM)의 본질적 조합성 덕분에 제로샷 구성적 생성을 가능하게 하기 위해.
• 기존의 확산 모델(예: Stable Diffusion)과 호환되는 플러그 앤 플레이, 훈련 불필요 솔루션을 제공하기 위해.
• 다양한 작업, 즉 다중 개념 생성, 텍스트 유도 인painting, 실제/합성 이미지 편집 등에서의 효과성을 입증하기 위해.

제안 방법

• 각 교차 어텐션 레이어에서 $ E(K_l; Q_{t,l}) $의 에너지 함수를 정의하여 $ p(K_l \mid Q_{t,l}) $의 사후 분포를 모델링한다. 여기서 $ K_l $은 키(문맥)이고 $ Q_{t,l} $은 쿼리(이미지 표현)이다.
• 문맥 벡터의 로그 사후 분포의 기울기를 유도하여, 후속 레이어로 전파되는 반복적이고 적응적인 업데이트를 가능하게 한다.
• 문맥 벡터의 부드러운 최댓값을 적응적으로 정규화하는 데 사용되는 사전 에너지 함수 $ \operatorname{E}(K) $를 도입한다. 이는 문맥 벡터에 대한 과도한 페널티를 방지한다.
• 성능와 계산 비용의 균형을 고려해, 후속 레이어로 전파되는 단일 스텝의 문맥 업데이트를 사용한다.
• 다중 에너지 기반 문맥 벡터의 교차 어텐션 출력을 선형 조합함으로써 제로샷 구성적 생성을 가능하게 한다.
• 모델의 미세조정이나 추가 훈련 없이 추론 전용으로 프레임워크를 적용한다.

Figure 1: The energy-based cross-attention improves the semantic alignment between given text and the generated sample. The proposed method could be leveraged for multiple applications without additional training.

실험 결과

연구 질문

• RQ1 에너지 기반 사후 추정이 확산 모델에서 텍스트 프롬프트와 생성된 이미지 간의 의미적 정렬을 향상시키는가?
• RQ2 에너지 함수 최소화를 통한 적응적 문맥 업데이트가 다중 개념 생성 및 이미지 편집에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 재훈련 없이도 제로샷 구성적 생성을 가능하게 하는가?
• RQ4 적응적 사전 에너지 함수는 균일한 정규화에 비해 주목할 만한 문맥 벡터의 과도한 억압을 방지하는가?
• RQ5 문맥 업데이트 수가 이미지 품질과 의미적 정확성에 어떤 영향을 미치는가?

주요 결과

• 제안된 EBCA 방법은 다중 개념 작업(예: '사자와 왕관')에서 생성 품질 향상으로써 의미적 이질성의 심각한 감소를 입증한다.
• 정규화 강도 $ \alpha $ 가 증가함에 따라 주목할 만한 문맥 요소(예: 왕관, 사자)가 점차 사라지며, 이는 핵심 개념을 유지하는 데 효과적인 적응적 페널티의 효용성을 확인한다.
• 최종 타임스텝 문맥 벡터 $ C_T $ 를 고정 임베딩으로 사용할 경우 의미적으로 정확한 생성 결과를 도출함으로써, 적응적 업데이트가 의도된 의미를 유지함을 보여준다.
• 다중 스텝 문맥 업데이트는 이미지 품질을 향상시키지만 계산 비용이 높기 때문에, 단일 스텝 업데이트로도 최적의 성능을 달성할 수 있음을 시사한다.
• 실제 및 합성 이미지 편집에 효과적으로 적용되며, 훈련 없이도 텍스트 프롬프트만으로 말을 제비로, 고양이를 개로 편집할 수 있다.
• 다중 에너지 기반 문맥 벡터의 교차 어텐션 출력을 선형 조합함으로써 제로샷 구성적 편집을 지원하며, 이는 영리하고 직관적인 조작을 가능하게 한다.

Figure 2: Comparison between the Stable-Diffusion and the proposed method. ( A ) The Stable-Diffusion uses fixed context embedding encoded by pre-trained CLIP. ( B ) The proposed method allows adaptive context embedding through energy-based context update (EBCU) and energy-based composition of queri