[논문 리뷰] MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens

Kaizhi Zheng, Xuehai He외 1명|arXiv (Cornell University)|2023. 10. 03.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

MiniGPT-5는 LLM과 Stable Diffusion을 연결하기 위한 생성적 vokens를 도입하여 시각-언어 생성의 interleaved를 가능하게 하고, description-free 학습과 classifier-free guidance를 통해 다중모달 출력의 질을 향상합니다. CC3M에서 최첨단 결과를 보이고 VIST와 MMDialog에서도 강력한 성능을 입증합니다.

ABSTRACT

The effectiveness of Multimodal Large Language Models (MLLMs) demonstrates a profound capability in multimodal understanding. However, the simultaneous generation of images with coherent texts is still underdeveloped. Addressing this, we introduce a novel interleaved vision-and-language generation method, centered around the concept of ``generative vokens". These vokens serve as pivotal elements contributing to coherent image-text outputs. Our method is marked by a unique two-stage training strategy for description-free multimodal generation, which does not necessitate extensive descriptions of images. We integrate classifier-free guidance to enhance the alignment of generated images and texts, ensuring more seamless and contextually relevant multimodal interactions. Our model, MiniGPT-5, exhibits substantial improvement over the baseline models on multimodal generation datasets, including MMDialog and VIST. The human evaluation shows MiniGPT-5 is better than the baseline model on more than 56\% cases for multimodal generation, highlighting its efficacy across diverse benchmarks.

연구 동기 및 목표

• 생성적 vokens를 도입하여 LLM과 이미지-텍스트 모델을 잇는 다중모달 간 interleaved 시각-언어 생성을 향상한다.
• 제한된 이미지 설명으로 다중모달 특징을 정렬하기 위한 두 단계의 description-free 학습 전략을 개발한다.
• 분류기-프리 가이던스와 매개변수 효율적 미세조정으로 생성 품질을 개선한다.
• CC3M, VIST, MMDialog 데이터셋 전반에 걸쳐 강력한 다중모달 생성 성능을 보여준다.

제안 방법

• LLM 어휘에 특수 토큰으로 생성적 vokens를 도입해 이미지 생성을 위한 시각적 특징을 출력한다.
• voken 특징을 잠재 확산 모델의 조건 특징 공간으로 변환하기 위한 매핑 모듈(MLP 및 인코더-디코더 트랜스포머)을 사용한다.
• 단계적 전략으로 학습한다: unimodal alignment(UAS)을 CC3M에서, 다중모달 학습 단계(MLS)를 VIST/MMDialog에서 수행한다.
• 확산 기반 이미지 생성 시 분류기-프리 가이던스를 적용해 조건적 일관성을 높인다.
• 사전 학습 가중치를 보존하면서 LLM을 효율적으로 미세조정하기 위해 PEFT(LoRA/프리픽스)를 활용한다.
• LDM 손실과 텍스트 공간 손실을 포함하는 두 단계 손실 프레임워크와 CC3M의 자막 정합을 위한 보조 CAP 손실을 활용한다.

실험 결과

연구 질문

• RQ1 생성적 vokens가 단일 다중모달 모델 내에서 텍스트와 이미지를 일관되게 interleaved 생성하도록 할 수 있는가?
• RQ2 두 단계의 description-free 학습 전략이 시각적 및 텍스트 모듈 간 정렬을 엔드-투-엔드 학습과 비교해 개선하는가?
• RQ3 classifier-free guidance와 PEFT가 VIST 및 MMDialog와 같은 데이터셋에서 다중모달 출력의 품질에 미치는 영향은 무엇인가?
• RQ4 MiniGPT-5가 CC3M, VIST, MMDialog에서 단일 턴 및 다중 턴 설정 시 GILL 및 Divter에 비해 어떤 성능을 보이는가?

주요 결과

• MiniGPT-5는 VIST 단일 단계 생성에서 프롬프트 유형에 관계없이 미세조정된 Stable Diffusion 2를 능가한다.
• LoRA를 사용한 MiniGPT-5는 VIST의 모든 단계 평가에서 CLIP-I 점수를 지속적으로 높이고 이미지 품질(IS) 및 일관성(FID)에서도 경쟁력을 보인다.
• 인간 평가에서 MiniGPT-5가 두 단계 기준선 대비 대다수 케이스에서 더 나은 또는 동등한 언어 연속성, 이미지 품질, 다중모달 일관성을 나타낸다.
• MMDialog에서 MiniGPT-5는 텍스트 정확도와 MM-관련성에서 Divter를 능가하며 이미지 품질은 비슷한 수준이다.
• ablation 연구에서 CAP 손실과 CFG가 이미지 품질에 긍정적 영향을 미치며 CFG가 확산의 잡음 제거 성능을 개선한다.
• CC3M Unimodal Alignment에서 MiniGPT-5가 모든 보고된 지표에서 GILL을 능가하며 Stable Diffusion과의 생성적 voken 정렬이 효과적임을 시사한다.