[논문 리뷰] Rethinking Global Text Conditioning in Diffusion Transformers

Nikita Starodubcev, Daniil Pakhomov외 7명|arXiv (Cornell University)|2026. 02. 09.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 풀링된 전역 텍스트 임베딩이 전통적으로 사용할 때는 효과가 제한적이지만, 동적으로(훈련 없이) 사용할 때 확산 트랜스포머에 강력한 모듈레이션-가이드 이점을 제공할 수 있으며, 텍스트-투-이미지/비디오 생성 및 편집 작업 전반에 걸쳐 적용 가능하다.

ABSTRACT

Diffusion transformers typically incorporate textual information via attention layers and a modulation mechanism using a pooled text embedding. Nevertheless, recent approaches discard modulation-based text conditioning and rely exclusively on attention. In this paper, we address whether modulation-based text conditioning is necessary and whether it can provide any performance advantage. Our analysis shows that, in its conventional usage, the pooled embedding contributes little to overall performance, suggesting that attention alone is generally sufficient for faithfully propagating prompt information. However, we reveal that the pooled embedding can provide significant gains when used from a different perspective-serving as guidance and enabling controllable shifts toward more desirable properties. This approach is training-free, simple to implement, incurs negligible runtime overhead, and can be applied to various diffusion models, bringing improvements across diverse tasks, including text-to-image/video generation and image editing.

연구 동기 및 목표

• 확산 트랜스포머에서 CLIP 기반 풀링된 전역 텍스트 컨디셔닝과 주의(attention) 기반 컨디셔닝의 실제 기여를 평가한다.
• 훈련 없이도 가벼운 방법인 모듈레이션 가이던스를 조사하여 확산 모델을 바람직한 특성으로 이끄는 방법을 연구한다.
• 텍스트-투-이미지, 텍스트-투-비디오, 이미지 편집 작업 전반에서 생성 품질을 향상시키기 위한 동적 모듈레이션 전략을 개발한다.
• 전적으로 어텐션 기반인 모델에 풀링된 임베딩의 실용적 통합을 시연하여 성능을 향상시킨다.

제안 방법

• CLIP 풀링 임베딩의 역할을 여러 확산 모델 변형(FLUX schnell, HiDream-Fast, COSMOS)에서 차별실험으로 분석한다( CLIP 임베딩 제거 또는 유지 ).
• 전역 컨디셔닝 y(p,t)를 양의 프롬프트와 음의 프롬프트 간 가중 차이로 보강하는 모듈레이션-스페이스 가이던스 공식화를 도입한다: ŷ(p,t)=y(p,t)+w·(y(p+,t)−y(p−,t)).
• 아트스틱(미학)과 프롬프트 충실도 균형을 맞추기 위해 모델 계층 전반에서 가이던스 가중치를 다르게 하는 동적 모듈레이션 가이던스를 제안한다.
• 합성 데이터에 대한 증류(distillation)로 풀링된 임베딩 위에 작은 MLP를 학습시키는 방식으로 CLIP-프리 모델에 풀링된 임베딩의 통합을 보여준다.
• 인간의 선호도와 자동 지표를 사용하여 텍스트-투-이미지, 텍스트-투-비디오, 그리고 지시 가이드를 받는 이미지 편집 작업을 평가한다.

Figure 1: (top) Difference between images (DreamSim) with and without CLIP as a function of prompt length. (bot) For long prompts, images without CLIP generally do not differ from the initial ones.

실험 결과

연구 질문

• RQ1 전통적인 확산 모델 컨디셔닝에서 풀링된 CLIP 임베딩이 생성 품질에 유의미한 영향을 미치는가?
• RQ2 추가 훈련 없이도 미학, 복잡성 및 특정 편집을 향상시키는 지배 가능한 모듈레이션 가이드로 재목적화될 수 있는가?
• RQ3 동적 모듈레이션 가이던스가 작업 및 프롬프트 전반에서 상수 가이던스보다 더 효과적인가?
• RQ4 전체 모델 재학습 없이 풀링된 임베딩을 통합하여 CLIP-프리 모델을 개선할 수 있는가?
• RQ5 모듈레이션 가이던스가 텍스트-투-이미지, 텍스트-투-비디오, 지시 기반 이미지 편집 벤치마크에서 어떻게 작용하는가?

주요 결과

• 전통적인 컨디셔닝 경로에 사용할 때 풀링된 CLIP 임베딩은 성능에 미미한 기여를 하는 경우가 많고, 텍스트 정렬에는 일반적으로 주의(attention)만으로 충분하다.
• 모듈레이션 가이드로 사용될 때 풀링된 임베딩은 생성에 상당한 도움을 줄 수 있으며, 훈련 없이 바람직한 특성으로의 제어 가능한 변화를 가능하게 한다.
• 동적 모듈레이션 가이던스는 미학과 프롬프트 충실도의 균형에서 상수 가이던스보다 우수하며, 작업 전반에 걸쳐 강인한 일반화 성능을 보인다.
• 작은 MLP와 증류(distillation)를 통해 CLIP-프리 모델에 풀링된 임베딩을 통합하면 기본 모델을 재훈련하지 않고도 생성 품질이 향상된다.
• 실험은 텍스트-투-이미지/비디오 및 이미지 편집 작업 전반에 걸쳐 이득이 있음을 보여주며, 객체 개수 세기 및 손 위치 보정 등에서 개선과 인간 평가 및 자동 지표 결과가 우호적이다.

Figure 2: The modulation guidance enables local (top) and global (bottom) changes and encourages its use to shift a DM toward modes with better properties.