[논문 리뷰] An Introduction to Vision-Language Modeling

Florian Bordes, Richard Yuanzhe Pang외 39명|arXiv (Cornell University)|2024. 05. 27.

Geographic Information Systems Studies인용 수 33

한 줄 요약

이 논문은 Vision-Language Models (VLMs)의 접근 가능한 개요를 제공하며, 학습 패러다임(대조적, 마스킹, 생성적, 그리고 pretrained-backbone 접근 방식), 데이터 및 평가 관행, 비디오 확장에 대해 자세히 설명합니다.

ABSTRACT

Following the recent popularity of Large Language Models (LLMs), several attempts have been made to extend them to the visual domain. From having a visual assistant that could guide us through unfamiliar environments to generative models that produce images using only a high-level text description, the vision-language model (VLM) applications will significantly impact our relationship with technology. However, there are many challenges that need to be addressed to improve the reliability of those models. While language is discrete, vision evolves in a much higher dimensional space in which concepts cannot always be easily discretized. To better understand the mechanics behind mapping vision to language, we present this introduction to VLMs which we hope will help anyone who would like to enter the field. First, we introduce what VLMs are, how they work, and how to train them. Then, we present and discuss approaches to evaluate VLMs. Although this work primarily focuses on mapping images to language, we also discuss extending VLMs to videos.

연구 동기 및 목표

• VLM이 무엇이고 비전과 언어를 연결하는 데 왜 중요한지 설명합니다.
• 훈련 목표 및 아키텍처를 기반으로 VLM을 의미 있는 가족으로 분류합니다.
• 데이터, 학습 관행, 그리고 VLM의 평가 방법에 대해 연구자를 안내합니다.
• 비디오 확장 및 책임 있는 평가와 기초 grounding에 대한 고려사항을 논의합니다.

제안 방법

• 대비(contrastive), 마스킹(masking), 생성적(generative), 그리고 pretrained-backbone models의 네 가족으로 VLM 접근법을 분류합니다.
• 각 패러다임의 대표 모델을 설명합니다(예: contrastive의 CLIP, masking의 FLAVA/MaskVLM, generative의 CoCa/CM3leon, backbones의 Frozen/MiniGPT).
• 정보 이론적 관점에서 VLM 목표와 이를 rate-distortion 사고와의 관련성으로 설명합니다.
• 데이터 큐레이션, 증강, grounding 기법을 포함한 실용적인 학습 레시피를 개요합니다.
• 편향, 기억화, 환각, 책임 있는 VLM 평가를 위한 적합성 평가 및 평가 전략

실험 결과

연구 질문

• RQ1 시각-언어 모델을 구축하는 데 사용되는 주요 학습 패러다임은 무엇이며, 그것들은 어떻게 다른가?
• RQ2 다양한 데이터 및 백본 전략으로 VLM을 어떻게 효율적으로 학습시킬 수 있는가?
• RQ3 VLM의 시각-언어 능력, 편향, 신뢰성 평가를 위한 강건한 평가 관행은 무엇인가?
• RQ4 이미지에서 비디오로 VLM을 확장하려면 어떤 도전 과제가 생기는가?

주요 결과

• 대조적, 마스킹, 및 생성적 목표는 VLM에서 결합될 수 있으며, 선택은 작업 및 자원에 의존한다.
• 사전 학습된 백본(예: LLMs)은 훈련 비용을 크게 줄이면서 강력한 멀티모달 기능을 가능하게 한다.
• 정보 이론적 렌즈는 마스킹과 대조적 목표를 표현 학습의 레이트-디스토션 트레이드오프로 연결한다.
• 생성 모델은 조건부 우도(conditional likelihood)를 통해 판별적 작업을 가능하게 하며 견고성 및 구성적 추론 이점을 제공한다.
• VLM 평가에는 편향, 환각, 기억화, 훈련 데이터가 다운스트림 성능에 미치는 영향을 다루어야 한다.