[논문 리뷰] Wuerstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models

Pablo Pernias, Dominic Rampas외 3명|arXiv (Cornell University)|2023. 06. 01.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

Würstchen은 조건부로 설정된 42:1 압축 잠재공간을 사용하는 3단계 텍스트-이미지 확산 아키텍처를 도입하여, 안정된 확산 2.1의 200,000 A100-GPU 시간 대비 8배 낮은 훈련 비용(24,602 A100-GPU 시간)으로 최신 기술 수준의 이미지 생성 품질을 달성한다. 이는 더 빠른 추론과 더 낮은 탄소 배출량을 가능하게 하며, 정밀도나 일치도를 손상시키지 않는다.

ABSTRACT

We introduce Würstchen, a novel architecture for text-to-image synthesis that combines competitive performance with unprecedented cost-effectiveness for large-scale text-to-image diffusion models. A key contribution of our work is to develop a latent diffusion technique in which we learn a detailed but extremely compact semantic image representation used to guide the diffusion process. This highly compressed representation of an image provides much more detailed guidance compared to latent representations of language and this significantly reduces the computational requirements to achieve state-of-the-art results. Our approach also improves the quality of text-conditioned image generation based on our user preference study. The training requirements of our approach consists of 24,602 A100-GPU hours - compared to Stable Diffusion 2.1's 200,000 GPU hours. Our approach also requires less training data to achieve these results. Furthermore, our compact latent representations allows us to perform inference over twice as fast, slashing the usual costs and carbon footprint of a state-of-the-art (SOTA) diffusion model significantly, without compromising the end performance. In a broader comparison against SOTA models our approach is substantially more efficient and compares favorably in terms of image quality. We believe that this work motivates more emphasis on the prioritization of both performance and computational accessibility.

연구 동기 및 목표

• 대규모 텍스트-이미지 확산 모델의 훈련 및 추론에 소요되는 높은 계산 비용을 해결한다.
• 이미지 품질과 일치도를 유지하거나 향상시키면서도 훈련 및 추론 비용을 줄인다.
• 소비자 하드웨어에서 고해상도 생성 모델을 더 효율적이고 스케일링 가능하며 접근 가능한 방식으로 구현할 수 있도록 한다.
• 극한의 잠재 표현 압축이 의미적 세부 정보를 유지하고 고해상도 이미지 생성을 이끌 수 있음을 입증한다.
• 성능을 희생시키지 않은 채 계산 효율성을 우선시하여 지속 가능한 생성 AI를 발전시킨다.

제안 방법

• 3단계 아키텍처 제안: 단계 C는 텍스트 조건부 잠재확산 모델(LDM)을 사용해 42:1 압축 잠재 표현을 생성한다.
• 단계 B는 이 압축된 잠재공간을 조건으로 삼아, VQGAN 기반 VQ-VAE를 통해 더 높은 차원의 4:1 압축 잠재공간을 복원하는 두 번째 LDM을 사용한다.
• 단계 A는 VQGAN 디코더를 사용해 최종 잠재 표현을 고해상도 이미지로 디코딩한다.
• 역순으로 훈련: 먼저 VQGAN(단계 A)을 훈련하고, 그 다음 단계 B LDM, 마지막으로 단계 C LDM을 훈련한다.
• 이미지를 압축된 잠재공간으로 투영하는 의미적 컴프레서(고압축 인코더)를 사용하여 의미적 정보를 유지한다.
• 분류기 없는 가이던스(CFG)와 CLIP 기반 텍스트 인코딩을 사용해 텍스트 프롬프트에 따라 이미지 생성을 조건화한다.

실험 결과

연구 질문

• RQ1 42:1의 극도로 압축된 잠재공간이 고해상도 이미지 생성을 위한 확산 모델에서 충분한 의미적 세부 정보를 유지할 수 있는가?
• RQ2 이러한 압축된 잠재공간에서 텍스트 조건부 확산 모델을 훈련하면 표준 LDM 대비 훈련 비용을 줄일 수 있을까? 이로 인해 이미지 품질이 유지되거나 향상되는가?
• RQ3 고해상도 이미지 생성과 조건부 모델링을 분리하는 3단계 아키텍처가 추론 시간과 계산 부담을 크게 줄일 수 있는가?
• RQ4 이미지 정밀도, 일치도 및 사용자 선호도 측면에서 Würstchen의 성능이 Stable Diffusion 2.1과 같은 최신 기술 수준 모델과 비교해 어떻게 되는가?
• RQ5 이러한 접근 방식이 하드웨어 및 에너지 요구량을 줄여 고품질 텍스트-이미지 생성에 대한 접근성을 어떻게 민주화할 수 있는가?

주요 결과

• Würstchen은 단지 24,602 A100-GPU 시간의 훈련으로 최신 기술 수준의 성능을 달성하였으며, 이는 Stable Diffusion 2.1의 200,000 GPU 시간 대비 8배 낮은 수준이다.
• MS-COCO에서 FID 점수 2.53, Parti-prompts에서 2.61로 SD 2.1과 비교해 유사하거나 뛰어난 점수를 기록하였고, MS-COCO에서 PickScore 1.48, Parti-prompts에서 1.52를 기록하였다.
• 사용자 선호도 조사에서 고참여도 참가자들을 대상으로 한 분석 결과, Parti-prompts에서 62%의 사용자가 Würstchen을 선호했고, MS-COCO에서는 54%가 Würstchen을 선호하였다.
• Würstchen의 추론은 압축된 잠재공간 덕분에 SD 2.1보다 2배 이상 빠르며, 이는 지연 시간과 탄소 배출량을 크게 감소시킨다.
• 모델은 더 적은 훈련 데이터를 요구하며, 자동화된 메트릭과 인간 평가를 통해 더 나은 일치도와 시각적 품질을 확보하였다.
• 훈련 및 추론 코드, 모델 가중치를 포함한 전체 파ipeline는 재현 가능성과 커뮤니티 사용을 위해 GitHub에 공개되었다.