[논문 리뷰] Controlled and Conditional Text to Image Generation with Diffusion Prior

Pranav Aggarwal, Hareesh Ravi외 13명|arXiv (Cornell University)|2023. 02. 23.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 대규모 확산 디코더를 미세조정하지 않고도 효율적이고 고성능이며 제어 가능한 텍스트-이미지 생성을 가능하게 하는 경량 확산 프리커서( Diffusion Prior)를 사용하는 하이브리드 확산 모델(HDM)을 제안한다. 이는 특정 도메인이나 색상 팔레트에 조건부로 이미지 생성할 수 있도록 한다. 제안된 방법은 프롬프트 엔지니어링 및 기존 베이스라인 대비 도메인 특화 및 색상 조건부 이미지 생성에서 뛰어난 성능을 보인다.

ABSTRACT

Denoising Diffusion models have shown remarkable performance in generating diverse, high quality images from text. Numerous techniques have been proposed on top of or in alignment with models like Stable Diffusion and Imagen that generate images directly from text. A lesser explored approach is DALLE-2's two step process comprising a Diffusion Prior that generates a CLIP image embedding from text and a Diffusion Decoder that generates an image from a CLIP image embedding. We explore the capabilities of the Diffusion Prior and the advantages of an intermediate CLIP representation. We observe that Diffusion Prior can be used in a memory and compute efficient way to constrain the generation to a specific domain without altering the larger Diffusion Decoder. Moreover, we show that the Diffusion Prior can be trained with additional conditional information such as color histogram to further control the generation. We show quantitatively and qualitatively that the proposed approaches perform better than prompt engineering for domain specific generation and existing baselines for color conditioned generation. We believe that our observations and results will instigate further research into the diffusion prior and uncover more of its capabilities.

연구 동기 및 목표

• 확산 디코더의 가중치를 수정하지 않고도 경량 확산 프리커서가 특정 도메인으로 이미지 생성을 효과적으로 제약할 수 있는지 조사한다.
• 색상 히스토GRAM과 같은 조건부 생성을 위해 확산 프리커서의 타당성을 평가하여 의미적 및 스타일적 일관성을 이끌어내는 데 기여하는지 확인한다.
• 큰 확산 모델을 미세조정하는 것보다 메모리 및 계산 자원을 더 효율적으로 사용할 수 있도록 도메인 특화의 경량 확산 프리커서를 훈련시키는 것이 가능한지 보여준다.
• 이미지 품질, 의미적 관련성, 색상 정확도 측면에서 제안된 방법을 프롬프트 엔지니어링 및 기존의 색상 전이 기법과 비교한다.

제안 방법

• 도메인 특화 텍스트-이미지 쌍에서 훈련된 확산 프리커서 모델이 텍스트 프롬프트에 조건부로 CLIP-L/14 이미지 임베딩을 생성함으로써 도메인 제어를 가능하게 한다.
• 생성된 CLIP 임베딩을 사용해 사전 훈련된 잠재 확산 모델(Latent Diffusion Model, LDM) 디코더를 조건부로 설정하며, 이때 디코더 가중치는 어떤 수정 없이 그대로 유지된다.
• 추가적인 조건부 입력으로 기준 이미지의 색상 히스토GRAM을 확산 프리커서에 입력함으로써 의미적 콘텐츠를 유지하면서도 색상 조건부 생성이 가능해진다.
• CLIP 임베딩 공간을 공통 중간 표현으로 활용함으로써 생성된 이미지의 보간, 변형 및 다양성 향상이 가능해진다.
• 도메인 특화 분류기에서의 분류 정확도, CLIP 점수, FID 등의 지표를 사용해 방법을 평가한다.
• 도메인 특화 또는 색상 조건부 확산 프리커서와 일반적인 LDM 디코더를 조합하여 플러그 앤 플레이 제어가 가능한 새로운 HDM 아키텍처를 수립한다.

실험 결과

연구 질문

• RQ1 작고 도메인 특화된 확산 프리커서 모델이 큰 확산 디코더를 미세조정하지 않고도 원하는 도메인으로 이미지 생성을 효과적으로 제약할 수 있는가?
• RQ2 확산 프리커서 기반 방법이 도메인 특화 이미지 생성에서 프롬프트 엔지니어링 대비 성능이 어떻게 다른가?
• RQ3 확산 프리커서는 색상 히스토GRAM과 같은 추가적인 조건부 입력을 확장하여 의미 품질을 유지하면서 이미지 생성을 이끌 수 있는가?
• RQ4 기존의 색상 전이 기법 대비 제안된 방법이 이미지 품질과 색상 정확도 사이의 균형을 더 잘 달성하는가?
• RQ5 HDM 아키텍처는 큰 확산 모델을 미세조정하는 것보다 메모리 및 훈련 시간 측면에서 더 효율적인가?

주요 결과

• 제안된 도메인 특화 확산 프리커서는 고립된 물체에 대해 도메인 분류기 점수 0.496을 기록했으며, SD(0.268) 및 SD-prompt(0.250)를 크게 앞서며 더 나은 도메인 일치를 보였다.
• 벡터 이미지 생성에서는 분류기 점수 0.950을 기록해 SD(0.550) 및 SD-prompt(0.761)를 초월했으며, 벡터 도메인 생성에서 강력한 성능을 입증했다.
• 텍스처 생성에서는 분류기 점수 0.860을 기록해 SD(0.663) 및 SD-prompt(0.788)를 앞서며 FID(35.524) 값도 양 베이스라인보다 낮게 유지했다.
• 색상 조건부 생성에서는 헬링거 거리 0.480 및 KL 발산 3.164를 기록해 색상 정확도와 이미지 품질의 균형에서 SD+WCTRGB(0.468, 1.779)를 능가했다.
• 색상 조건부 생성에서 FID는 21.670을 기록해 SD+WCTRGB(23.616) 및 ReHistoGAN(21.299)를 모두 앞서며 뛰어난 품질과 색상 일치를 보였다.
• 정성적 결과에서는 모델이 의미적으로 일관된 이미지를 생성함을 보여주며, 예를 들어 파란 샘플 이미지에 조건부로 설정하면 베리가 블루베리로 변환되는 등 현실감 있고 전반적인 색상 왜곡 없이 생성된다.