[논문 리뷰] Implementing and Experimenting with Diffusion Models for Text-to-Image Generation

Robin Zbinden|arXiv (Cornell University)|2022. 09. 22.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 DALL-E 2를 영감으로 삼아, 계산 비용을 크게 줄인 데에도 불구하고 높은 품질의 이미지 생성이 가능한 경량이며 공개된 텍스트-이미지 확산 모델의 구현을 제시한다. 이는 이미지 품질과 정렬도 향상시키는 새로운 이미지 가중치 방법을 도입하여 자원이 제한된 환경에서도 효과적인 실험을 가능하게 하며, 이전 연구에 비해 더 깊이 있는 분석과 아블레이션 연구를 제공한다.

ABSTRACT

Taking advantage of the many recent advances in deep learning, text-to-image generative models currently have the merit of attracting the general public attention. Two of these models, DALL-E 2 and Imagen, have demonstrated that highly photorealistic images could be generated from a simple textual description of an image. Based on a novel approach for image generation called diffusion models, text-to-image models enable the production of many different types of high resolution images, where human imagination is the only limit. However, these models require exceptionally large amounts of computational resources to train, as well as handling huge datasets collected from the internet. In addition, neither the codebase nor the models have been released. It consequently prevents the AI community from experimenting with these cutting-edge models, making the reproduction of their results complicated, if not impossible. In this thesis, we aim to contribute by firstly reviewing the different approaches and techniques used by these models, and then by proposing our own implementation of a text-to-image model. Highly based on DALL-E 2, we introduce several slight modifications to tackle the high computational cost induced. We thus have the opportunity to experiment in order to understand what these models are capable of, especially in a low resource regime. In particular, we provide additional and analyses deeper than the ones performed by the authors of DALL-E 2, including ablation studies. Besides, diffusion models use so-called guidance methods to help the generating process. We introduce a new guidance method which can be used in conjunction with other guidance methods to improve image quality. Finally, the images generated by our model are of reasonably good quality, without having to sustain the significant training costs of state-of-the-art text-to-image models.

연구 동기 및 목표

• DALL-E 2나 Imagen와 같은 최신 기술의 텍스트-이미지 모델들이 계산 비용이 매우 높고 오픈소스가 아니므로, 이에 대한 공개 접근성 부족 문제를 해결하기 위해.
• 기존 모델들에 비해 훈련 비용을 줄인, 기반 원리가 확산인 기능성 있고 훈련 가능한 텍스트-이미지 모델을 구현하기 위해.
• CLIP 임bedding의 행동을 분석하고, 텍스트-이미지 생성에서의 역할을 깊이 있게 분석하기 위해.
• 이미지 품질과 텍스트-이미지 정렬도 향상시키는 새로운 이미지 가중치 방법을 도입하고 평가하기 위해.
• 최신 기술 모델들이 요구하는 막대한 계산 자원 없이도 고품질의 이미지 생성이 가능함을 입증하기 위해.

제안 방법

• 편향과 계산 부담을 줄이기 위해 정제된 필터링된 데이터셋으로 훈련된 확산 기반 이미지 디코더를 사용한다.
• DALL-E 2에서 사용된 복잡한 프리오르를 피하기 위해, 텍스트 임베딩을 이미지 잠복 공간으로 매핑하기 위해 단순한 MLP로 구성된 CLIP 번역 네트워크를 구현한다.
• 대조 손실을 사용하여 CLIP의 텍스트 및 이미지 인코더를 활용해 텍스트 프롬프트와 이미지 잠복 공간 간의 정렬을 수행하는 훈련 파이프라인을 설계한다.
• 기존의 확산 과정에 기반한 기반 이미지 임베딩을 조건으로 삼아 정밀도와 정렬도를 향상시키는 새로운 이미지 가중치 방법을 도입한다.
• 이미지 디코더, CLIP 번역기, 업샘플러 구성 요소에 대한 아블레이션 연구를 통해 전체 파이프라인을 평가한다.
• 텍스트 및 이미지 임베딩에 대한 벡터 산술 연산을 포함한, CLIP 임베딩의 의미론적 특성에 대한 정성적 및 정량적 분석을 포함한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 최신 기술 모델들인 DALL-E 2나 Imagen가 요구하는 막대한 계산 자원 없이도, 계산 비용을 크게 줄인 경량이며 공개 가능한 텍스트-이미지 확산 모델을 구현할 수 있는가?
• RQ2 CLIP 번역기, 이미지 디코더, 업샘플러와 같은 다양한 구성 요소들이 생성된 이미지의 품질과 정렬도에 어떤 영향을 미치는가?
• RQ3 제안된 이미지 가중치 방법은 기존의 가중치 기법들과 비교해 이미지 품질과 텍스트-이미지 정렬도에 어떤 영향을 미치는가?
• RQ4 CLIP 임베딩은 텍스트-이미지 생성에서 의미적인 정규성을 보이며, 의미 있는 벡터 산술 연산을 가능하게 하는가?
• RQ5 모델 및 데이터셋의 스케일링은 성능에 어떤 영향을 미치며, 품질과 계산 비용 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 모델는 DALL-E 2나 Imagen와 같은 최신 기술 모델들이 요구하는 막대한 계산 자원 없이도 합리적으로 높은 품질의 이미지를 생성할 수 있다.
• DALL-E 2의 프리오르 모델에 비해 단순한 MLP를 사용한 CLIP 번역기의 적용으로 계산 비용을 크게 줄였지만 성능 저하 없이 유지되었다.
• 제안된 이미지 가중치 방법은 다른 가중치 기법과 병행 사용할 경우 이미지 품질 향상과 텍스트-이미지 정렬도 향상에 기여한다.
• CLIP 임베딩은 강력한 의미론적 정규성을 보이며, 다양한 텍스트 및 시각적 개념의 조합 및 콘텐츠 조작을 가능하게 하는 의미 있는 벡터 산술 연산을 지원한다.
• 아블레이션 연구 결과, 일부 유형의 이미지는 더 쉽게 생성되며, 업샘플링 또는 CLIP 번역 성능 향상과 같은 구성 요소별 개선이 이미지 품질 향상에 측정 가능한 기여를 한다.
• 모델 및 데이터셋 스케일링은 성능 향상을 가져오지만, 이는 계산 비용 증가로 상쇄되며, 자원이 제한된 환경에서의 핵심 상충 관계를 드러낸다.