[논문 리뷰] M-VADER: A Model for Diffusion with Multimodal Context

Samuel Weinbach, Marco Bellagente외 8명|arXiv (Cornell University)|2022. 12. 06.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

M-VADER는 새로운 다중모달 임베딩 모델인 S-MAGMA를 사용하여 텍스트와 이미지의 임의 조합을 조건으로 삼는 확산 모델이다. S-MAGMA는 시각-언어 캡션과 의미 검색을 결합한 13B 파라미터 디코더이다. 이는 다중모달 프롬프트를 통해 이미지 구성 및 스타일 전이와 같은 제어 가능한 이미지 생성을 가능하게 하며, 어텐션 재가중을 통한 구성 요소 중요도의 미세 조절이 가능하다.

ABSTRACT

We introduce M-VADER: a diffusion model (DM) for image generation where the output can be specified using arbitrary combinations of images and text. We show how M-VADER enables the generation of images specified using combinations of image and text, and combinations of multiple images. Previously, a number of successful DM image generation algorithms have been introduced that make it possible to specify the output image using a text prompt. Inspired by the success of those models, and led by the notion that language was already developed to describe the elements of visual contexts that humans find most important, we introduce an embedding model closely related to a vision-language model. Specifically, we introduce the embedding model S-MAGMA: a 13 billion parameter multimodal decoder combining components from an autoregressive vision-language model MAGMA and biases finetuned for semantic search.

연구 동기 및 목표

• 확산 모델이 텍스트만으로 조건을 받는 데서 한계를 극복하고, 텍스트와 이미지를 조합한 다중모달 프롬프트를 사용하여 이미지를 생성할 수 있도록 하는 것.
• 복잡한 가이던스를 위해 교차된 텍스트와 이미지 입력을 처리할 수 있는 통합 임베딩 모델을 개발하는 것.
• 이미지 생성 과정에서 다중모달 프롬프트의 개별 구성 요소(텍스트 또는 이미지)가 미치는 영향을 세밀하게 제어할 수 있도록 하는 것.
• 고품질의 이미지 합성 품질을 유지하면서 스탠더드 디퓨전 모델에 다중모달 조건부 기능을 확장하는 것.
• 기존의 텍스트 기반 이미지 생성 모델을 넘어서 창의적이고 정밀한 이미지 생성을 위한 다중모달 프롬프팅의 잠재력을 탐색하는 것.

제안 방법

• S-MAGMA는 시각-언어 캡션 모델(MAGMA)과 의미 검색 모델(Luminous-Explore)을 결합하여 훈련한 13B 파라미터의 디코더 전용 트랜스포머로, 다중모달 이해를 위해 미세조정되었다.
• 다중모달 프롬프트(교차된 텍스트와 이미지)는 S-MAGMA에 의해 맥락적 표현으로 임bed되어 확산 과정을 조건화하는 데 사용된다.
• S-MAGMA 임베딩을 참조하여 디노이징 과정에서 교차 어텐션을 사용하는 미세조정된 스탠더드 디퓨전 버전이 다중모달 가이던스를 가능하게 한다.
• S-MAGMA 출력의 개별 토큰이나 이미지 패치에 대한 어텐션 점수를 재가중하여 프롬프트 구성 요소의 상대적 중요도를 제어한다.
• 모델은 페어드 이미지-텍스트 데이터로 훈련되며, 다중모달 조합에 대해 명시적 지도 학습 없이도 교차 모odal 정렬을 학습할 수 있는 능력을 기반으로 한다.
• 아키텍처는 다중 이미지 및 텍스트 세그먼트를 포함한 다양한 프롬프트 구조를 유연하게 지원하며, 동적 어텐션 라우팅을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확산 모델이 텍스트 프롬프트에만 의존하는 것이 아니라, 텍스트와 이미지의 조합으로 효과적으로 가이던스를 받을 수 있는가?
• RQ2 다중모달 프롬프트에서 다양한 모odal(텍스트 대비 이미지)이 이미지 생성 과정에서 미치는 상대적 영향을 어떻게 제어할 수 있는가?
• RQ3 단일 다중모달 임베딩 모델이 다양한 조합의 텍스트와 이미지를 효과적으로 표현하여 후속 이미지 합성에 활용할 수 있는가?
• RQ4 다중모달 프롬프팅의 질적 능력, 특히 이미지 구성과 스타일 전이에서의 성능은 어떠한가?
• RQ5 다중모달 프롬프트의 입력 요소 순서가 생성된 이미지에 영향을 미치는가? 이는 어떻게 완화될 수 있는가?

주요 결과

• M-VADER는 교차된 텍스트와 이미지 프롬프트를 조건으로 하여 고품질의 이미지를 성공적으로 생성하였으며, 강력한 다중모달 이해 능력을 보였다.
• 두 개의 입력 이미지와 텍스트 가이던스를 조합하여 이미지 구성이 가능했으며, 일관되고 맥락적으로 관련된 출력을 생성하였다.
• 기준 이미지와 텍스트를 사용하여 임의의 노이즈를 목표 이미지로 변환함으로써 이미지 변형이 가능했으며, 제어 가능한 편집 능력을 보였다.
• 어텐션 점수 재가중은 개별 프롬프트 구성 요소의 영향력을 예측 가능하게 제어할 수 있게 하여, 사용자가 필요에 따라 텍스트나 이미지 콘텐츠의 강조를 조절할 수 있도록 했다.
• 일부 경우에서 입력 순서에 민감하게 반응하여 순열 불변성의 결여로 인해 유사한 프롬프트 간 일관성이 떨어지는 경향을 보였으며, 이는 한계로 지적되었다.
• 구성 및 스타일 전이와 같은 복잡한 다중모달 작업에 대한 표준화된 벤치마크가 부족하여 정량적 평가가 어려운 상황이다.