[논문 리뷰] Training-free Diffusion Model Adaptation for Variable-Sized Text-to-Image Synthesis

Zhiyu Jin, Xuli Shen외 2명|arXiv (Cornell University)|2023. 06. 14.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 텍스트-이미지 확산 모델을 다양한 크기의 이미지 생성에 맞추기 위해 훈련 없이도 적용할 수 있는 새로운 스케일링 인자를 도입함으로써, 다양한 해상도에서 주의 집중의 엔트로피를 안정화시키는 방법을 제안한다. 토큰 수와 주의 집중 엔트로피 간의 관계를 분석함으로써, 낮은 해상도에서는 부족한 객체 표현을 완화하고, 높은 해상도에서는 반복적이고 질서 없는 패턴을 줄여, 재학습 없이도 이미지 품질과 텍스트 정렬을 크게 향상시킨다.

ABSTRACT

Diffusion models (DMs) have recently gained attention with state-of-the-art performance in text-to-image synthesis. Abiding by the tradition in deep learning, DMs are trained and evaluated on the images with fixed sizes. However, users are demanding for various images with specific sizes and various aspect ratio. This paper focuses on adapting text-to-image diffusion models to handle such variety while maintaining visual fidelity. First we observe that, during the synthesis, lower resolution images suffer from incomplete object portrayal, while higher resolution images exhibit repetitively disordered presentation. Next, we establish a statistical relationship indicating that attention entropy changes with token quantity, suggesting that models aggregate spatial information in proportion to image resolution. The subsequent interpretation on our observations is that objects are incompletely depicted due to limited spatial information for low resolutions, while repetitively disorganized presentation arises from redundant spatial information for high resolutions. From this perspective, we propose a scaling factor to alleviate the change of attention entropy and mitigate the defective pattern observed. Extensive experimental results validate the efficacy of the proposed scaling factor, enabling models to achieve better visual effects, image quality, and text alignment. Notably, these improvements are achieved without additional training or fine-tuning techniques.

연구 동기 및 목표

• 사전 훈련된 확산 모델을 사용해 다양한 해상도와 종횡비에서 고해상도 이미지를 생성하는 데 도전 과제를 해결한다.
• 고정된 크기로 훈련된 모델의 한계를 극복하여 낮고 높은 해상도에서 효과적인 생성을 가능하게 한다.
• 두 가지 다른 실패 패턴을 완화한다: 낮은 해상도 이미지에서의 불완전한 객체 표현과 높은 해상도 이미지에서의 반복적이고 질서 없는 객체 생성.
• 다양한 해상도에서 텍스트 프롬프트와 생성된 이미지 간의 의미 정합성을 향상시킨다.
• 추가적인 훈련이나 미세조정 없이 이러한 개선을 달성하여 기존 오픈소스 모델과의 호환성을 확보한다.

제안 방법

• 분석 해상도에 따라 변하는 주의 집중 레이어의 특징 공간 집합을 조절하는 스케일링 인자를 제안한다.
• 토큰 수(해상도에 따라 달라지는 값)와 주의 집중 맵의 엔트로피 간의 통계적 관계를 수립한다.
• 낮은 해상도에서의 결함은 좁은 주의 집중으로 인한 부족한 공간 정보로 해석하고, 높은 해상도에서의 결함은 너무 넓은 주의 집중으로 인한 중복된 공간 집합으로 해석한다.
• 다양한 시퀀스 길이(토큰 수)에서 주의 집중 엔트로피를 안정화시켜, 해상도에 기인한 분포 이탈을 줄이기 위해 스케일링 인자를 설계한다.
• 모델 재학습 없이 추론 단계에서만 스케일링 인자를 적용하며, 주의 메커니즘 내 원래 스케일링을 대체한다.
• 224², 512², 768² 등의 다양한 해상도와 종횡비에서 정성적 및 정량적 분석을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 확산 모델에서 주의 집중 엔트로피는 이미지 해상도에 따라 어떻게 변하는가? 이는 다양한 해상도에서의 시각적 품질에 어떤 함의를 갖는가?
• RQ2 왜 낮은 해상도 이미지는 불완전한 객체 표현을 겪는가? 왜 높은 해상도 이미지는 반복적이고 질서 없는 패턴을 보이는가?
• RQ3 해상도에 관계없는 스케일링 인자는 주의 집중 엔트로피를 안정화시키고 다양한 크기의 생성에서 시각적 정밀도를 향상시킬 수 있는가?
• RQ4 이러한 방법은 상하향 조정 및 초해상도 기법과 비교해 의미적 풍부함과 시각적 일관성 측면에서 어떻게 다른가?
• RQ5 이 훈련 없이도 적용 가능한 접근 방식은 미세조정 없이 이미지 품질과 텍스트 정합도를 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 스케일링 인자는 다양한 해상도에서 주의 집중 엔트로피의 변동성을 성공적으로 줄여, 모델의 공간 집합 행동을 안정화시켰다.
• 224² 해상도에서 이 방법은 주의 집중 엔트로피를 증가시켜 객체의 완전성을 향상시키고 부족한 표현을 줄였다.
• 768² 해상도에서 이 방법은 주의 집중 엔트로피를 감소시켜 반복적이고 질서 없는 객체 생성을 완화시켰다.
• 224², 512², 768² 등 테스트된 모든 해상도에서 뛰어난 이미지 품질과 텍스트 정합도 점수를 달성했다.
• 정성적 결과는 상하향 조정 및 초해상도 기반 모델 대비 더 풍부한 의미적 내용과 더 자연스러운 이미지 구조를 보였다.
• 낮은 해상도에서 낮은 시간 및 메모리 비용을 유지하여 자원 제약이 있는 장치에서도 효율적인 추론을 가능하게 했다.