[논문 리뷰] Zero-Shot Text-to-Image Generation

Aditya Ramesh, Mikhail Pavlov외 6명|arXiv (Cornell University)|2021. 02. 24.

Multimodal Machine Learning Applications참고 문헌 55인용 수 1,132

한 줄 요약

12B 매개변수의 자기회귀 트랜스포머가 250M 이미지-텍스트 쌍에서 학습되어 페어 캡션 없이도 텍스트에서 고충실도 이미지를 제로샷으로 생성하는 능력을 보여주며, 기본적인 이미지-대-이미지 변환과 구성 능력도 시演한다.

ABSTRACT

Text-to-image generation has traditionally focused on finding better modeling assumptions for training on a fixed dataset. These assumptions might involve complex architectures, auxiliary losses, or side information such as object part labels or segmentation masks supplied during training. We describe a simple approach for this task based on a transformer that autoregressively models the text and image tokens as a single stream of data. With sufficient data and scale, our approach is competitive with previous domain-specific models when evaluated in a zero-shot fashion.

연구 동기 및 목표

• Demonstrate zero-shot text-to-image generation with a large-scale autoregressive transformer.
• Investigate a two-stage training pipeline combining discrete latent image tokens with text tokens.
• Evaluate zero-shot performance on MS-COCO and CUB and analyze emergent capabilities from scaling.

제안 방법

• Train a discrete VAE (dVAE) to compress 256x256 images into 32x32 image tokens (8192 codebook values).
• Train a 12B parameter sparse transformer to model the joint distribution of text and image tokens as a single stream.
• Use a two-stage ELBO objective: stage 1 optimizes phi/theta for the VAE; stage 2 optimizes psi for the prior over text+image tokens.
• Concatenate 256 BPE text tokens with 32x32 image tokens and autoregressively model them with a decoder-only transformer.
• Rerank generated samples with a pretrained contrastive model to select top images for evaluation.

실험 결과

연구 질문

• RQ1 데이터, 모델 규모, 훈련 절차의 확장이 고품질의 제로샷 텍스트-이미지 생성을 가능하게 하는가?
• RQ2 캡션 감독 없이 학습된 대규모 모델의 등장 능력(예: 이미지-이미지 변환, 텍스트 렌더링)은 무엇인가?
• RQ3 MS-COCO와 CUB에서 제로샷 성능은 prior 도메인 특화 모델과 어떻게 비교되는가?
• RQ4 훈련 세트와의 데이터 중복이 FID, IS와 같은 평가 지표에 미치는 영향은 무엇인가?
• RQ5 이만큼 큰 모델을 효율적으로 학습 및 배포하기 위해 필요한 기술은 무엇인가(혼합 정밀도, 분산 최적화, 그래디언트 압축)?

주요 결과

• 250M 이미지-텍스트 쌍에서 학습된 12B 매개변수 모델이 캡션 감독 없이 MS-COCO에서 제로샷 이미지 생성을 경쟁력 있게 달성한다.
• 인간 평가에서 모델의 샘플이 현실감에서 이전 방법보다 선호되며(90%), 캡션 일치에서도(93%) 우수하다.
• 모델은 캡션 감독 없이도 최적의 이전 접근법에 비해 MS-COCO FID를 약 2포인트 차로 근접하게 달성한다.
• 제로샷 설정에서 이미지-이미지 변환 및 텍스트 렌더링 능력을 초보적으로 시현한다.
• 대조 모델로 재랭킹하면 후보 수가 증가함에 따라 샘플 품질이 향상되나 N이 커지면 수익이 감소하는 수익 체감이 나타난다.
• CUB 데이터셋에서 현저한 성능 차이가 나타나, 미세조정 없이 특화 분포에 한계가 있음을 시사한다.