[논문 리뷰] Training-Free Structured Diffusion Guidance for Compositional Text-to-Image Synthesis

Weixi Feng, Xuehai He외 7명|arXiv (Cornell University)|2022. 12. 09.

Generative Adversarial Networks and Image Synthesis인용 수 70

한 줄 요약

훈련 없이 구조화된 언어 지침을 Stable Diffusion의 cross-attention에 주입하여 T2I에서 속성 바인딩과 합성 능력을 향상시키는 방법으로, 새로운 ABC-6K 및 CC-500 벤치마크로 평가되었다.

ABSTRACT

Large-scale diffusion models have achieved state-of-the-art results on text-to-image synthesis (T2I) tasks. Despite their ability to generate high-quality yet creative images, we observe that attribution-binding and compositional capabilities are still considered major challenging issues, especially when involving multiple objects. In this work, we improve the compositional skills of T2I models, specifically more accurate attribute binding and better image compositions. To do this, we incorporate linguistic structures with the diffusion guidance process based on the controllable properties of manipulating cross-attention layers in diffusion-based T2I models. We observe that keys and values in cross-attention layers have strong semantic meanings associated with object layouts and content. Therefore, we can better preserve the compositional semantics in the generated image by manipulating the cross-attention representations based on linguistic insights. Built upon Stable Diffusion, a SOTA T2I model, our structured cross-attention design is efficient that requires no additional training samples. We achieve better compositional skills in qualitative and quantitative results, leading to a 5-8% advantage in head-to-head user comparison studies. Lastly, we conduct an in-depth analysis to reveal potential causes of incorrect image compositions and justify the properties of cross-attention layers in the generation process.

연구 동기 및 목표

• T2I 출력에서 객체와 속성 간의 속성 바인딩을 향상시키는 것.
• 추가 학습 데이터 없이 다중 객체 장면에 대한 합성 생성을 향상시키는 것.
• 구조화된 언어 표현을 활용하여 확산 모델의 cross-attention을 가이드하는 것.
• 구성성 및 바인딩 정확도를 정량화하기 위한 벤치마크를 도입한다 (ABC-6K).

제안 방법

• 프롬트에서 여러 명사구를 추출하기 위해 구성 구문 분석 또는 씬 그래프를 사용한다.
• 각 텍스트 구간을 동결된 CLIP 텍스트 인코더로 인코딩하고 전체 프롬프트 시퀀스와 임베딩을 재정렬한다.
• 주의 맵을 사용하여 텍스트 구간의 의미를 주의된 이미지 영역에 매핑하도록 cross-attention을 수정한다.
• 모든 구조화된 텍스트 구간에서 주의 기반 가치 벡터를 계산하고 이를 디퓨전 가이던스에 융합한다(Equations 1–4).
• 결합 프롬프트에 대해 다중 주의 맵을 집계하는 변형을 도입한다(Equations 5–6).
• 추가 데이터 없이 Stable Diffusion과의 훈련 없이 통합을 시연한다.

실험 결과

연구 질문

• RQ1 구조화된 cross-attention 가이드가 T2I 생성에서 속성-객체 바인딩을 향상시키는가?
• RQ2 구조화된 표현(구성 트리 vs 씬 그래프)이 합성성 및 이미지 충실도에 어떤 영향을 미치는가?
• RQ3 일반적인 프롬프트에 일반화되면서 이미지 품질을 유지할 수 있는가?
• RQ4 잘못된 구문의 원인은 무엇이며 주의 맵이 레이아웃 및 콘텐츠와 어떻게 연관되는가?

주요 결과

• StructureDiffusion은 기본 Stable Diffusion 대비 헤드-투-헤드 사용자 비교에서 5-8%의 우위를 보인다.
• 이 방법은 색상 정확도를 포함한 물체 수준 및 장면 수준 합성성을 향상시키고 누락된 객체를 줄인다.
• 이 접근법은 전체 이미지 충실도 및 다양성을 기본 벤치마크(IS/FID/R-Prec)와 비슷하게 유지한다.
• 씬 그래프 입력과 구성 파싱 모두 구조화된 가이던스를 지원하며 색상 바인딩 및 객체 완전성에서 질적 향상을 보인다.
• 구성 프롬프트에서 속성 바인딩을 평가하기 위한 새로운 ABC-6K 벤치마크가 제안되었으며 CC-500 및 일반 MSCOCO 프롬프트와 함께 사용된다.