[논문 리뷰] Large Multimodal Models: Notes on CVPR 2023 Tutorial

Chunyuan Li|arXiv (Cornell University)|2023. 06. 26.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 2023년 CVPR에서 열린 대규모 다중모달 모델(LMM) 튜토리얼을 요약하며, 시각-언어 사전학습과 지시 훈련을 통해 LLaVA 및 MiniGPT-4와 같은 오픈소스 지시 훈련 LMM를 구축하기 위한 프레임워크를 제시한다. 이는 오픈소스 LMM가 다중모달 추론 및 시각 대화 작업에서 뛰어난 성능을 달성할 수 있음을 보여주며, 복잡한 추론과 확장성에서 OpenAI의 다중모달 GPT-4에 도달하지는 못하나 근접하고 있음을 시사한다.

ABSTRACT

This tutorial note summarizes the presentation on ``Large Multimodal Models: Towards Building and Surpassing Multimodal GPT-4'', a part of CVPR 2023 tutorial on ``Recent Advances in Vision Foundation Models''. The tutorial consists of three parts. We first introduce the background on recent GPT-like large models for vision-and-language modeling to motivate the research in instruction-tuned large multimodal models (LMMs). As a pre-requisite, we describe the basics of instruction-tuning in large language models, which is further extended to the multimodal space. Lastly, we illustrate how to build the minimum prototype of multimodal GPT-4 like models with the open-source resource, and review the recently emerged topics.

연구 동기 및 목표

• 이 분야에 익숙하지 않은 연구자 및 학부생들을 대상으로 대규모 다중모달 모델(LMM)에 대한 종합적이고 접근 가능한 개요를 제공하기 위해.
• GPT-4의 성공에 영감을 받아, 지시 훈련이 다중모달 대화 기능을 가능하게 하는 기초적 역할을 설명하기 위해.
• LLaVA 및 시각-언어 데이터셋과 같은 오픈소스 컴포넌트를 사용하여 다중모달 GPT-4 유사 모델의 최소 프로토타입을 구축하는 방법을 보여주기 위해.
• 다중모달 확장, 컨텍스트 기반 학습, 파rameter 효율적 미세조정, 도메인 특화 응용 등 LMM 분야의 최근 발전을 조사하기 위해.
• OpenAI의 다중모달 GPT-4와 같은 전용 모델에 비해 현재 오픈소스 LMM의 수준을 평가하고, 격차와 기회를 규명하기 위해.

제안 방법

• 대규모 언어 모델(LLM)에서 유래한 지시 훈련 기법을 다중모달 환경으로 확장하여, 모델이 자연어 지시를 따를 수 있도록 한다.
• 이중 단계 훈련 프로세스를 적용한다: 먼저 이미지-캡션 쌍을 통해 시각적 및 텍스트 표현을 정렬하고, 그 다음 GPT-4와 같은 LLM을 사용하여 지시 따르기 데이터로 미세조정한다.
• 시각적 특징을 추출하기 위해 시각 인코더(예: CLIP 또는 ViT)를 사용하고, 텍스트 생성을 위해 동결된 LLM(예: LLaMA)을 사용하며, 가중치 학습이 가능한 투영 모듈을 통해 연결한다.
• 캡션에서 고품질의 지시 따르기 데이터를 자동 생성하기 위해 self-instruct 방법을 활용하여 LMM의 효율적 미세조정을 가능하게 한다.
• 순차적 학습(curriculum learning)을 적용하여 지시 데이터의 복잡도를 점진적으로 증가시켜, 생물의학 분야의 LMM에서 제로샷 일반화 및 추론 능력을 향상시킨다.
• 생물의학 분야의 시각-언어 사전학습을 위해 PubMed Central과 같은 오픈소스 데이터셋을 활용하고, 도메인 특화 데이터로 LLaVA를 미세조정하여 LLaVA-Med를 생성한다.

Figure 1 : Visual chat with LMM. Generated by LLaVA: https://llava-vl.github.io/

실험 결과

연구 질문

• RQ1 지시 훈련은 어떻게 텍스트 중심의 LLM에서 다중모달 모델로 효과적으로 확장될 수 있으며, 이는 시각적 추론과 대화에 기여하는가?
• RQ2 기능적인 오픈소스 다중모달 GPT-4 유사 모델을 구축하기 위해 필요한 최소한의 아키텍처와 훈련 프rotocol는 무엇인가?
• RQ3 오픈소스 LMM는 OpenAI의 GPT-4와 같은 전용 모델의 추론 능력과 다중모달 이해 능력에 얼마나 근접할 수 있는가?
• RQ4 제한된 데이터와 계산 자원으로도 효율적으로 도메인 특화 LMM를 훈련시킬 수 있으며, 전문 과제에서 높은 성능을 유지할 수 있는가?
• RQ5 시각-언어 과제를 넘어서 LMM의 스케일링, 평가, 구현에서 나타나는 주요 신규 추세와 과제는 무엇인가?

주요 결과

• LLaVA 및 MiniGPT-4와 같은 오픈소스 LMM는 시각 질문 응답 및 이미지 캡션 생성에서 GPT-4의 많은 능력을 재현하며, 강력한 제로샷 일반화 능력을 보여준다.
• 생물의학 데이터로 미세조정된 LLaVA-Med는 병리학적 영상에 대한 개방형 질문에 정확하고 지식 기반의 응답을 제공하며, 일반 도메인 LLaVA를 초월하는 성능을 기록한다.
• GPT-4를 활용해 캡션에서 지시 따르기 데이터를 자가 지시하는 방식은 고품질이고 다양한 지시 예제를 제공하여 LMM의 효율적 미세조정을 가능하게 한다.
• 진전이 있었음에도 불구하고, 고해상도 이미지 이해와 장기적 맥락 추론이 필요한 복잡한 시각적 추론 과제에서는 여전히 GPT-4에 뒤처진다.
• 다중모달 컨텍스트 기반 학습, 파rameter 효율적 미세조정, 다중모달 벤치마크와 같은 신규 주제들이 강력하고 확장 가능한 LMM의 개발을 가속화하고 있다.
• PathAsst 및 PMC-VQA와 같은 도메인 특화 LMM는 생물의학과 같은 민감한 분야에서 일반 모델보다 더 효과적이고 개인정보 보호에 유리할 수 있음을 보여준다.

Figure 2 : The focus of this note on large multimodal models, in the context of overall CVPR 2023 Tutorial on Recent Advances in Vision Foundation Models .