[논문 리뷰] RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model

Fengxiang Bie, Yibo Yang외 11명|arXiv (Cornell University)|2023. 09. 02.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

GAN, VAE, 확산 모델 전반의 텍스트-대-이미지 생성 방법에 대한 포괄적 고찰로, 대형 모델 및 CLIP와 같은 다중 모달 인코더의 TTI 품질 영향과 향후 방향을 강조합니다.

ABSTRACT

Text-to-image generation (TTI) refers to the usage of models that could process text input and generate high fidelity images based on text descriptions. Text-to-image generation using neural networks could be traced back to the emergence of Generative Adversial Network (GAN), followed by the autoregressive Transformer. Diffusion models are one prominent type of generative model used for the generation of images through the systematic introduction of noises with repeating steps. As an effect of the impressive results of diffusion models on image synthesis, it has been cemented as the major image decoder used by text-to-image models and brought text-to-image generation to the forefront of machine-learning (ML) research. In the era of large models, scaling up model size and the integration with large language models have further improved the performance of TTI models, resulting the generation result nearly indistinguishable from real-world images, revolutionizing the way we retrieval images. Our explorative study has incentivised us to think that there are further ways of scaling text-to-image models with the combination of innovative model architectures and prediction enhancement techniques. We have divided the work of this survey into five main sections wherein we detail the frameworks of major literature in order to delve into the different types of text-to-image generation methods. Following this we provide a detailed comparison and critique of these methods and offer possible pathways of improvement for future work. In the future work, we argue that TTI development could yield impressive productivity improvements for creation, particularly in the context of the AIGC era, and could be extended to more complex tasks such as video generation and 3D generation.

연구 동기 및 목표

• TTI 모델의 핵심 구성요소(생성 모델, 언어 모델, 비전 모델)를 소개합니다.
• 다수의 TTI 모델 유형(GAN, VAE, 확산) 및 대형 모델의 영향 아래의 진화를 조사합니다.
• 시각적 및 통계적 결과를 사용한 크로스 타입 비교를 제공하여 장단점을 평가합니다.
• 한계점을 논의하고 비디오 및 3D 생성 확장을 포함한 향후 방향을 제시합니다.

제안 방법

• GAN 기반 메서드에서 확산 및 대형 모델 보강 접근법으로의 TTI 진화를 고찰합니다.
• VAE, GAN, 확산 기반 TTI 모델의 핵심 아키텍처 및 학습 목표를 요약합니다.
• 이미지 생성을 유도하는 대형 언어 모델과 비전-언어 인코더(e.g., CLIP)의 역할을 설명합니다.
• 정성적(이미지) 및 정량적(통계) 기준을 통해 모델 유형을 비교하고 트레이드오프를 논의합니다.
• 다중 모달 및 다중 작업 학습이 TTI 성능과 효율성에 미치는 영향을 조명합니다.

실험 결과

연구 질문

• RQ1 GAN, VAE, 확산 계열 전반에서 TTI 모델을 이끄는 주요 아키텍처와 구성요소는 무엇인가요?
• RQ2 대형 모델과 다중 모달 인코더(예: CLIP)가 TTI 품질, 효율성, 다재다능성에 어떻게 영향을 미쳤나요?
• RQ3 텍스트-투-이미지 생성에서 GAN, 자기회귀, 확산 방식의 강점과 한계는 무엇인가요?
• RQ4 향후 TTI 연구에 유망한 방향과 확장(예: 비디오 또는 3D 생성)은 무엇인가요?

주요 결과

• 확산 모델은 고충실도 TTI 생성의 두드러진 선택지가 되었습니다.
• 대형 모델과 다중 모달 인코더는 TTI 성능과 역량을 크게 향상시킵니다.
• 단일 모델 유형이 절대적인 우위를 가지지 않으며, 각 아키텍처는 품질, 효율성 및 확장성에서 고유한 트레이드오프를 제공합니다.
• CLIP와 언어-비전 및 다중 모달 학습은 현대 TTI 시스템과 제로샷 능력의 기초입니다.
• 본 고찰은 교차 유형 비교(시각적 및 통계적)를 통합하고 향후 연구를 위한 장단점을 논의합니다.
• 향후 연구는 TTI 기법을 비디오 및 3D 생성과 같은 복합 작업으로 확장하는 것을 구상합니다.