[논문 리뷰] Versatile Diffusion: Text, Images and Variations All in One Diffusion Model

Xingqian Xu, Zhangyang Wang외 3명|arXiv (Cornell University)|2022. 11. 15.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

Versatile Diffusion (VD)는 텍스트-이미지, 이미지-텍스트, 이미지 변형 및 새로운 교차 모odal 생성 작업을 하나의 모델에서 동시에 처리할 수 있는 통합 다중 플로우 확산 프레임워크를 도입한다. 공유되고 교환 가능한 모듈 레이어를 활용함으로써 VD는 모든 기본 작업에서 경쟁적인 성능을 달성하며, 의미-스타일 분리 및 이중/다중 컨텍스트 블렌딩과 같은 새로운 기능을 가능하게 하여 기존의 단일 플로우 모델보다 다중 모달 생성 품질과 유연성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Recent advances in diffusion models have set an impressive milestone in many generation tasks, and trending works such as DALL-E2, Imagen, and Stable Diffusion have attracted great interest. Despite the rapid landscape changes, recent new approaches focus on extensions and performance rather than capacity, thus requiring separate models for separate tasks. In this work, we expand the existing single-flow diffusion pipeline into a multi-task multimodal network, dubbed Versatile Diffusion (VD), that handles multiple flows of text-to-image, image-to-text, and variations in one unified model. The pipeline design of VD instantiates a unified multi-flow diffusion framework, consisting of sharable and swappable layer modules that enable the crossmodal generality beyond images and text. Through extensive experiments, we demonstrate that VD successfully achieves the following: a) VD outperforms the baseline approaches and handles all its base tasks with competitive quality; b) VD enables novel extensions such as disentanglement of style and semantics, dual- and multi-context blending, etc.; c) The success of our multi-flow multimodal framework over images and text may inspire further diffusion-based universal AI research. Our code and models are open-sourced at https://github.com/SHI-Labs/Versatile-Diffusion.

연구 동기 및 목표

• 텍스트-이미지, 이미지-텍스트 및 이미지 변형과 같은 다양한 생성 작업을 하나의 확장 가능한 확산 모델에 통합하는 것.
• 기존의 단일 플로우 확산 모델이 특정 작업에 특화되어 있으며 별도의 아키텍처가 필요로 하는 한계를 극복하는 것.
• 공유된 모듈식 아키텍처를 통해 이미지와 텍스트를 초월한 교차 모달 일반화를 가능하게 하는 것.
• 의미-스타일 분리 및 다중 컨텍스트 블렌딩과 같은 새로운 생성 기능을 탐색하는 것.
• 통합된 다중 플로우 확산 프레임워크가 경쟁적인 성능을 달성하면서도 새로운 최종 응용 프로그램을 가능하게 할 수 있음을 보여주는 것.

제안 방법

• 텍스트-이미지, 이미지-텍스트 및 이미지 변형 작업을 동시에 지원하는 일반화된 다중 플로우 확산 파이프라인을 설계하는 것.
• 교차 모달 정보 공유와 작업별 적응을 가능하게 하기 위해 공유되고 교환 가능한 모듈 레이어를 구현하는 것.
• Optimus VAE를 사용한 텍스트 잠재 표현과 AutoKL을 사용한 이미지 잠재 표현을 포함하는 VAE 기반 인코더-디코더 아키텍처를 사용한 공유된 잠재 공간을 활용하는 것.
• LAION-2B 및 COYO와 같은 대규모 데이터셋에서 모든 플로우 간의 공동 목표를 사용하여 모델을 종합적으로 훈련하는 것.
• 이중 및 다중 컨텍스트 블렌딩을 도입하여 하나의 이미지와 하나의 텍스트, 또는 여러 개의 이미지와 하나의 텍스트에 조건을 줌으로써 생성을 가능하게 하는 것.
• 모든 플로우에 걸쳐 반복적 개선과 노이즈 스케줄링을 적용하여 일관성과 품질을 유지하는 것.

실험 결과

연구 질문

• RQ1 하나의 확산 모델이 텍스트-이미지, 이미지-텍스트 및 이미지 변형과 같은 다양한 다중 모달 생성 작업을 효과적으로 처리할 수 있는가?
• RQ2 통합 아키텍처가 작업별 특화 미세조정 없이도 여러 플로우 간에 높은 성능을 유지할 수 있는가?
• RQ3 다중 플로우 및 다중 모달 설계에서 어떤 새로운 생성 기능이 부상하는가(예: 분리 또는 컨텍스트 블렌딩)?
• RQ4 공유된 표현 학습이 작업 간 제로샷 또는 피처샷 일반화에 얼마나 기여하는가?
• RQ5 플로우 복잡성과 데이터 다양성이 증가함에 따라 모델의 성능은 어떻게 변화하는가?

주요 결과

• VD는 텍스트-이미지 생성 및 이미지 변형 작업에서 베이스라인 모델을 초월하여 의미적으로 타당하고 일관성 있는 고품질 출력을 생성한다.
• 모델은 의미-스타일 분리 기능을 성공적으로 구현하여 사용자가 스타일을 콘텐츠와 독립적으로 수정할 수 있도록 하였으며, 제어된 이미지 편집을 통해 이를 입증하였다.
• 이중 및 다중 컨텍스트 블렌딩 작업이 효과적으로 지원되어 하나의 이미지와 하나의 텍스트, 또는 여러 개의 이미지와 하나의 텍스트에 조건을 줌으로써 일관되고 의미 있는 결과를 생성할 수 있었다.
• LAION-2B 및 COYO와 같은 대규모 데이터셋에서의 훈련은 다양한 모달과 작업 간에 견고한 성능을 제공하였으며, 네 플로우 훈련 동안 안정적인 손실 곡선을 기록하였다.
• 강력한 성능에도 불구하고, Optimus VAE의 잠재 표현 제약로 인해 텍스트 생성 작업에서 한계를 보였으며, 특히 긴 문장이나 복잡한 문장에서 문제가 발생하였다.
• 모델은 반복되거나 중복된 텍스트 생성을 보이며, 현재의 텍스트 VAE가 어순 및 시퀀스 모델링에 어려움을 겪고 있음을 시사하여, 향후 개선된 텍스트 잠재 공간 설계가 필요함을 나타낸다.