[논문 리뷰] Training-Free Layout Control with Cross-Attention Guidance

Minghao Chen, Iro Laina외 1명|arXiv (Cornell University)|2023. 04. 06.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

본 논문은 cross-attention를 조작하여 diffusion 모델에서 학습 없이 레이아웃 제어를 제안하며, 역방향 가이던스가 생성된 레이아웃을 사용자 지정 상자와의 정렬에 대해 전방 가이던스보다 우수하다는 것을 보인다.

ABSTRACT

Recent diffusion-based generators can produce high-quality images from textual prompts. However, they often disregard textual instructions that specify the spatial layout of the composition. We propose a simple approach that achieves robust layout control without the need for training or fine-tuning of the image generator. Our technique manipulates the cross-attention layers that the model uses to interface textual and visual information and steers the generation in the desired direction given, e.g., a user-specified layout. To determine how to best guide attention, we study the role of attention maps and explore two alternative strategies, forward and backward guidance. We thoroughly evaluate our approach on three benchmarks and provide several qualitative examples and a comparative analysis of the two strategies that demonstrate the superiority of backward guidance compared to forward guidance, as well as prior work. We further demonstrate the versatility of layout guidance by extending it to applications such as editing the layout and context of real images.

연구 동기 및 목표

• 텍스트-투-이미지 생성에서 모델 재학습 없이 강력한 공간 레이아웃 제어를 동기화하려는 동기를 제공한다.
• cross-attention 맵이 레이아웃에 어떤 영향을 미치는지 탐구하고 전방 가이던스와 역방향 가이던스를 비교한다.
• 사용자가 지정한 경계 상자(Bounding box)를 사용하여 레이아웃을 조정하는 학습 없이의 메커니즘을 개발한다.
• 실제 이미지의 레이아웃 편집에의 적용 가능성을 보여주고 개인화 파이프라인과의 통합을 시연한다.]
• method:[
• 레이아웃 제어 문제를 토큰 i에 대한 경계 상자 B를 사용하여 샘플링한다는 p(x|y,B,i)로 나타낸다.
• A^{(\nGamma)}_{ui}가 공간 위치 u를 텍스트 토큰 i와 연결하는 교차 주의(attention) 계층을 조사한다.
• 창(windowing function) g^{(\nGamma)}_{u}를 통해 교차 주의 맵을 편향시키기 위한 forward guidance를 형식화한다.
• 에너지 함수 E(A^{(\nGamma)},B,i)를 정의하여 B 내부의 주의(attention)를 유도하고 역전파(backpropagation)를 통해 잠재 변수 z_t를 업데이트한다(z_t ← z_t − σ_t^2 η ∇_{z_t} Σγ E(A^{(\nGamma)},B,i)).
• 역방향 가이던스는 단일 토큰의 주의만 직접적으로 편향하는 것이 아니라 잠재 변수를 업데이트함으로써 모든 토큰 주의(attention)를 간접적으로 정렬시키는 반면 forward guidance는 이를 직접적으로 편향한다는 것을 보여준다.
• benchmarks 3개에서 평가하고 시작 토큰과 패딩 토큰을 포함한 토큰의 역할 및 초기 확산 노이즈의 영향력을 분석한다.]
• research_questions:[
• 학습 없이 사전 학습된 확산 모델을 이용하여 레이아웃 조건부 이미지 생성을 어떻게 달성할 수 있는가?
• 역방향 가이던스가 cross-attention을 통한 공간 레이아웃 강제에 있어 전방 가이던스보다 더 효과적인가?
• 학습 없이의 레이아웃 가이던스가 실제 이미지 편집이나 개인화 기법과의 통합에 어느 정도 기여할 수 있는가?
• 확산 기반 생성 중 레이아웃 형성에 결정적으로 영향을 주는 요인(토큰, 초기 노이즈)은 무엇인가?]
• key_findings:[
• Backward guidance yields higher object-assembly accuracy (OA) and VISOR-conditioned metrics than forward guidance.
• Backward guidance with noise selection substantially improves OA and VISOR scores across benchmarks.
• Cross-attention maps of start and padding tokens carry meaningful layout information that can aid guidance strategies.
• Backward guidance achieves superior mAP and AP@0.5 on COCO and Flickr30K compared to competing layout-conditioned methods.
• The approach enables real-image layout editing when combined with Textual Inversion or Dreambooth, preserving identity while controlling layout.]
• table_headers:[]
• table_rows:[]}

제안 방법

• Represent the layout control problem as sampling from p(x|y,B,i) with a bounding box B for token i.
• Probe cross-attention layers where A^{(\nGamma)}_{ui} links spatial locations u to text tokens i.
• Formalize forward guidance to bias cross-attention maps via a windowing function g^{(\nGamma)}_{u}.
• Propose backward guidance by defining an energy function E(A^{(\nGamma)},B,i) that incentivizes attention inside B and update latents z_t through backpropagation (z_t ← z_t − σ_t^2 η ∇_{z_t} Σγ E(A^{(\nGamma)},B,i)).
• Show that backward guidance indirectly aligns all token attentions by updating latents, unlike forward guidance which directly biases a single token’s attention.
• Evaluate on three benchmarks and analyze the role of tokens, including start and padding tokens, and the influence of initial diffusion noise.

Figure 2 : Overview of the two layout guidance strategies. The cross-attention map for a chosen word token is marked with a red border. In forward guidance, the cross-attention maps of the word, start and padding tokens are biased spatially. In backward guidance, we compute instead a loss function a

실험 결과

연구 질문

• RQ1 How can we achieve layout-conditioned image generation using pre-trained diffusion models without retraining?
• RQ2 Is backward guidance more effective than forward guidance for enforcing spatial layouts via cross-attention?
• RQ3 To what extent can training-free layout guidance edit real images or integrate with personalization techniques?
• RQ4 What factors (tokens, initial noise) critically shape the layout during diffusion-based generation?

주요 결과

• Backward guidance yields higher object-assembly accuracy (OA) and VISOR-conditioned metrics than forward guidance.
• Backward guidance with noise selection substantially improves OA and VISOR scores across benchmarks.
• Cross-attention maps of start and padding tokens carry meaningful layout information that can aid guidance strategies.
• Backward guidance achieves superior mAP and AP@0.5 on COCO and Flickr30K compared to competing layout-conditioned methods.
• The approach enables real-image layout editing when combined with Textual Inversion or Dreambooth, preserving identity while controlling layout.

Figure 3 : Cross-attention maps during forward and backward guidance. Spatial dependencies between different words negatively affect forward guidance, while backward guidance softly encourages all dependent tokens to match the desired layout.