[논문 리뷰] Unified Discrete Diffusion for Simultaneous Vision-Language Generation

Minghui Hu, Chuanxia Zheng외 6명|arXiv (Cornell University)|2022. 11. 27.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 단일 아키텍처를 사용하여 동시에 시각-언어 생성과 모odal 번역을 수행하는 통합 이산 확산 모델 UniD3를 제안한다. 통합 전이 행렬과 융합 임베딩을 갖춘 상호 주의 메커니즘을 도입함으로써 UniD3는 텍스트 및 이미지 토큰의 연합 분포를 모델링하여 무조건적 이미지-텍스트 생성 및 双방향 합성 작업에서 최고 수준의 성능을 달성한다.

ABSTRACT

The recently developed discrete diffusion models perform extraordinarily well in the text-to-image task, showing significant promise for handling the multi-modality signals. In this work, we harness these traits and present a unified multimodal generation model that can conduct both the "modality translation" and "multi-modality generation" tasks using a single model, performing text-based, image-based, and even vision-language simultaneous generation. Specifically, we unify the discrete diffusion process for multimodal signals by proposing a unified transition matrix. Moreover, we design a mutual attention module with fused embedding layer and a unified objective function to emphasise the inter-modal linkages, which are vital for multi-modality generation. Extensive experiments indicate that our proposed method can perform comparably to the state-of-the-art solutions in various generation tasks.

연구 동기 및 목표

• 작업 전용 아키텍처의 한계를 극복하기 위해 시각-언어 생성과 모달 번역을 단일 모델로 통합하는 것.
• 혼합된 텍스트 및 이미지 토큰의 이산 잠재 공간에서 안정적인 손상 및 노이즈 제거를 가능하게 하는 통합 마르코프 전이 행렬을 설계하는 것.
• 융합 임베딩을 갖춘 상호 주의 메커니즘을 통해 교차 모달 이해를 향상시켜 연합 분포 내의 모달 간 연결을 강화하는 것.
• 최적화를 단순화하고 다중 모달 신호의 연합 모델링을 강화하는 통합 목적 함수를 개발하는 것.
• 단일 프레임워크 내에서 무조건적 생성과 양방향 합성(예: 텍스트에서 이미지, 이미지에서 텍스트) 모두에서 모델의 능력을 입증하는 것.

제안 방법

• 이미지를 이산 토큰으로 변환하기 위해 이산 VAE(dVAE)를 사용하고, 텍스트를 토크나이즈하기 위해 바이트-페어 인코딩(BPE)을 적용하여 다중 모달 간 공유 잠재 표현을 가능하게 한다.
• 융합된 텍스트 및 이미지 토큰을 통해 확산 과정을 제어하는 통합 전이 행렬을 도입하여 혼합 모달의 안정적인 손상 및 노이즈 제거를 가능하게 한다.
• 노이즈 제거 과정 중 교차 모달 의존성을 모델링하기 위해 융합 임베딩 레이어를 갖춘 상호 주의 메커니즘을 활용한다.
• 텍스트 및 이미지 재구성에 동시에 최적화되는 통합 목적 함수를 설계하여 정렬성과 일관성을 향상시킨다.
• 이중 단계 학습 프레임워크를 채택한다: 먼저 dVAE 및 BPE 인코더를 오프라인으로 사전학습한 후, 이산 잠재 코드 상에서 통합 확산 모델을 학습한다.
• 동일한 아키텍처 내에서 조건부 생성(예: 텍스트 유도 이미지 생성)과 무조건적 생성(예: 이미지-텍스트 쌍의 공동 합성)을 모두 지원한다.

실험 결과

연구 질문

• RQ1 단일 이산 확산 모델이 시각 및 언어 모달의 연합 분포를 효과적으로 모델링할 수 있는가?
• RQ2 혼합된 텍스트 및 이미지 토큰을 통해 안정적인 확산을 가능하게 하기 위해 통합 전이 행렬을 어떻게 설계할 수 있는가?
• RQ3 융합 임베딩을 갖춘 상호 주의 메커니즘이 교차 모달 생성 품질에 어떤 영향을 미치는가?
• RQ4 특수화된 아키텍처 없이도 동일한 모델이 모달 번역 및 다중 모달 생성 작업을 모두 수행할 수 있는가?
• RQ5 통합 목적 함수는 별도의 목적 함수와 비교해 학습 안정성과 생성 품질 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• UniD3는 무조건적 이미지 생성 벤치마크에서 최고 수준의 모델과 경쟁하는 우수한 이미지 품질을 달성한다.
• 이미지 캡션 생성 측면에서도 SOTA 방법과 유사한 성능을 보이며, 이미지 잠재 표현에서의 강력한 제로샷 텍스트 생성 능력을 입증한다.
• 제거 실험 결과 통합 전이 행렬을 제거할 경우 성능이 크게 저하됨(지표: FID 32.63 vs. 16.19)을 확인하여 그 중요성을 입증한다.
• 상호 주의 메커니즘이 성능 향상에 크게 기여하며, 이를 제거할 경우 FID 지표가 5.46 포인트 악화됨(21.65 vs. 16.19).
• 통합 전이 행렬은 안정성과 성능 향상에 기여하며, 표준 샘플링 대비 빠른 샘플링(Δt = 10)을 사용할 경우 FID 지표가 2.14 포인트 향상됨.
• 모델은 단일 아키텍처 내에서 무조건적 이미지-텍스트 생성, 텍스트 유도 이미지 복구, 이미지 조건부 캡션 생성 등의 다양한 작업을 성공적으로 지원한다.