[논문 리뷰] Generative Multimodal Models are In-Context Learners

Quan Sun, Yufeng Cui외 9명|arXiv (Cornell University)|2023. 12. 20.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 대규모 다중모态 시퀀스(텍스트, 이미지, 영상)에서 통합 자동회귀 목표로 훈련된 370억 파라미터의 생성형 다중모달 모델인 Emu2를 소개한다. 이 모델은 시각-언어 작업 전반에 걸쳐 뛰어난 문맥 내 학습 능력을 보이며, VQA 벤치마크에서 최신 기술 수준의 소수의 예제 성능을 달성하고, 제로샷 시각적 프롬프팅과 주제 기반 이미지 생성을 가능하게 하여 다중모달 이해 및 생성을 위한 일반 목적의 기초 모델로 자리매김한다.

ABSTRACT

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.

연구 동기 및 목표

• 대규모 생성형 다중모달 모델이 대규모 언어 모델에서 관찰된 것과 유사한 문맥 내 학습 능력을 보일 수 있는지 조사하는 것.
• 특정 작업용 아키텍처와 지도 학습 미세조정의 한계를 극복하여 다양한 다중모달 작업 간 제로샷 또는 소수의 예제 일반화를 가능하게 하는 것.
• 텍스트, 이미지, 영상 전반에 걸쳐 이해 및 생성을 지원하는 통합적이고 확장 가능한 다중모달 기초 모델을 개발하는 것.
• 모델의 성능을 소수의 예제 및 지시 미세조정 설정에서 새로운 다중모달 작업에 대해 평가하는 것.
• 이러한 강력한 생성형 모델의 사회적 영향을 분석하고, 책임감 있는 배포를 촉구하는 것.

제안 방법

• 다중모달 요소(텍스트 토큰 또는 시각적 임베딩)의 다음 요소를 예측하는 통합 자동회귀 목표로 Emu2를 훈련한다.
• 세 부분으로 구성된 아키텍처를 사용: 시각적 인코더(EVA-02-CLIP-E-plus), 다중모달 모델링 헤드(LLaMA-33B), 시각적 디코더(SDXL).
• 평균 풀링을 통해 입력 이미지를 8×8 패치로 토크나이즈하고, 다중모달 시퀀스에 투영하여 자동회귀 모델링을 수행한다.
• 넓은 다중모달 이해를 위해 LAION-2B, WebVid-10M, MMC4, YT-Storyboard-1B, GRIT-20M 등 다양한 데이터셋에서 사전 훈련한다.
• 대화 및 지시 수행 데이터를 활용한 지시 미세조정을 통해 제로샷 및 소수의 예제 성능을 향상시킨다.
• 분류기 자유 가이던스(scale=3.0)와 EulerDiscreteScheduler를 사용한 디퓨전 기반 생성을 통해 이미지 및 영상 생성 작업을 수행한다.

Figure 1 : Emu2 is a large generative multimodal model that serves as a foundation and a general-purpose interface for a broad range of multimodal tasks across understanding and generation, with remarkable in-context learning abilities.

실험 결과

연구 질문

• RQ1 대규모 생성형 다중모달 모델가 특정 작업용 미세조정 없이 문맥 내 학습을 통해 다양한 다중모달 작업을 수행할 수 있는가?
• RQ2 모델 규모를 증가시킬수록 다중모달 환경에서 문맥 내 학습 능력이 어떻게 향상되는가, 특히 시각적 프롬프팅과 같은 추론 중심 작업에서 어떻게 영향을 미치는가?
• RQ3 통합 자동회귀 목표가 텍스트, 이미지, 영상 간 공동 이해 및 생성을 얼마나 잘 가능하게 하는가?
• RQ4 지시 미세조정이 복잡한 지시를 다중모달 생성 및 질문-답변 작업에서 따르는 능력을 더욱 향상시킬 수 있는가?
• RQ5 이러한 강력한 문맥 내 학습 모델이 실제 배포 시 제한 사항과 위험 요소는 무엇인가?

주요 결과

• Emu2는 VQAv2, VizWiz, GQA, OKVQA 등 여러 시각-언어 벤치마크에서 최신 기술 수준의 소수의 예제 성능을 달성하며 강력한 문맥 내 학습 능력을 보였다.
• 모델는 제로샷 또는 소수의 예제 설정에서도 시각적 프롬프팅 및 개체 기반 이미지 생성과 같은 잠재적 추론 능력을 보였다.
• 지시 미세조정 이후 Emu2는 이전 모델들을 능가하는 성능을 보이며, 더 단순한 아키텍처임에도 불구하고 시각적 질문-답변 벤치마크에서 새로운 최고 성능을 기록했다.
• 텍스트, 이미지, 레이아웃의 혼합 입력을 사용하여 높은 품질의 제어 가능한 시각적 생성을 가능하게 하였으며, DreamBench 평가 결과 인간의 선호도와 잘 일치하는 결과를 보였다.
• 문맥 창 크기가 커질수록 성능이 향상됨을 확인하여, 문맥 내 학습이 확장 가능하고 데이터 효율적임을 시사했다.
• 모델는 개방형 이미지 및 영상 생성을 포함한 새로운 작업에 대해 강력한 일반화 능력을 보였으며, GPT-4 평가 결과 높은 품질의 출력을 생성했다.

Figure 2 : Overview of Emu2 architecture. Emu2 learns with a predict-the-next-element objective in multimodality. Each image in the multimodal sequence is tokenized into embeddings via a visual encoder, and then interleaved with text tokens for autoregressive modeling. The regressed visual embedding