[논문 리뷰] Vision-Language Pre-training: Basics, Recent Advances, and Future Trends

Zhe Gan, Linjie Li외 4명|arXiv (Cornell University)|2022. 10. 17.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

이 종합 검토는 이미지-텍스트, 핵심 컴퓨터 비전, 영상-텍스트 작업을 아우르는 시각-언어 사전학습(VLP)에 대한 포괄적인 개요를 제공한다. 최신 기술 모델, 사전학습 목표, 데이터셋, 그리고 기초 모델, 인라인 학습, 지식 통합, 내성성 등 고급 주제를 다룬다. VLP가 작업별 특화 모델에서 통합적이고 확장 가능한 다중모달 시스템으로 진화해 온 과정을 강조하며, 현실 세계 응용 사례에서의 새로운 능력까지 다루고 있다.

ABSTRACT

This paper surveys vision-language pre-training (VLP) methods for multimodal intelligence that have been developed in the last few years. We group these approaches into three categories: ($i$) VLP for image-text tasks, such as image captioning, image-text retrieval, visual question answering, and visual grounding; ($ii$) VLP for core computer vision tasks, such as (open-set) image classification, object detection, and segmentation; and ($iii$) VLP for video-text tasks, such as video captioning, video-text retrieval, and video question answering. For each category, we present a comprehensive review of state-of-the-art methods, and discuss the progress that has been made and challenges still being faced, using specific systems and models as case studies. In addition, for each category, we discuss advanced topics being actively explored in the research community, such as big foundation models, unified modeling, in-context few-shot learning, knowledge, robustness, and computer vision in the wild, to name a few.

연구 동기 및 목표

• 이미지-텍스트, 핵심 비전, 영상-텍스트 작업 전반에 걸쳐 시각-언어 사전학습(VLP)에 대한 통합적이고 깊이 있는 종합 검토를 제공하는 것.
• 작업별 특화 모델에서 대규모 일반 목적 다중모달 기초 모델로의 진화 과정을 분석하는 것.
• 최신 연구 동향인 인라인 소수 샘플 학습, 지식 강화, 모델 내성성, 효율적 적응 등을 검토하는 것.
• 표준 벤치마크와 실제 세계의 개방형 환경에서 VLP 모델의 성능 및 한계를 평가하는 것.
• 시스템 수준의 과제와 사례 연구를 통해 학술 연구와 산업 적용 간 격차를 메우는 것.

제안 방법

• 논문은 VLP 방법을 세 가지 주요 범주로 분류한다: 이미지-텍스트 작업, 핵심 컴퓨터 비전 작업, 영상-텍스트 작업.
• 각 범주에 대해 최신 기술 모델, 사전학습 목표, 데이터셋, 모델 아키텍처를 검토한다.
• 빅 기초 모델, 통합 모델링, 인라인 소수 샘플 학습, 지식 강화 VLP 등의 고급 주제를 분석한다.
• 디자인 선택과 성능 트레이드오프를 설명하기 위해 주요 모델들(예: CLIP, ALIGN, LLaVA, Video-LLaMA)의 사례 연구를 통합한다.
• COCO, ImageNet, VQAv2와 같은 표준 데이터셋을 기반으로 탐색 분석과 벤치마크 비교를 통해 내성성을 평가한다.
• 산업 시스템 사례 연구를 바탕으로 모델 압축 및 효율성과 같은 실용적 구현 과제를 논의한다.

실험 결과

연구 질문

• RQ1 시각-언어 사전학습 모델은 작업별 특화 아키텍처에서 통합적이고 확장 가능한 기초 모델로 어떻게 진화해 왔는가?
• RQ2 이미지, 영상, 핵심 비전 작업 전반에서 최고 성능을 내는 데 기여하는 주요 아키텍처 및 사전학습 목표 설계는 무엇인가?
• RQ3 복잡한 비전 작업(예: 바운딩 박스 등 구조적 출력이 필요한 작업)에 대해 인라인 소수 샘플 학습이 얼마나 가능할 수 있는가?
• RQ4 외부 지식과 검색 기반 보강 방법은 VLP 모델의 사실적 정확성과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ5 실제 세계의 개방형 어휘 및 실제 환경에서 대규모 VLP 모델을 구현하는 데 있어 주요 과제는 무엇인가?

주요 결과

• 시각-언어 사전학습은 이미지-텍스트 작업을 넘어 이미지 분류, 객체 검출, 세그멘테이션과 같은 핵심 컴퓨터 비전 작업에서 뛰어난 성능을 달성하는 데 성공했다.
• CLIP 및 ALIGN과 같은 기초 모델은 특히 개방 집합 및 제로샷 학습 시나리오에서 강력한 제로샷 전이 능력을 보였다.
• 텍스트 출력 전용에는 인라인 소수 샘플 학습이 가능하지만, 바운딩 박스나 세그멘테이션 마스크와 같은 구조적 출력이 필요한 비전 작업에서는 여전히 도전 과제로 남아 있다.
• 지식 강화 VLP는 새로운 연구 분야이며, 검색 기반 보강 방법이 사실적 일관성 향상과 환각 감소에 유망한 성과를 보이고 있다.
• 내성성 평가 결과, 모델들이 일반적으로 표준 벤치마크에 과적합하는 경향이 있어 더 철저한 진단 테스트와 내성적인 훈련 전략이 필요하다는 점이 드러났다.
• 자원 제약 환경에서 대규모 VLP 모델을 구현하기 위해서는 파rameter 효율적 미세조정(예: 어댑터)을 통한 효율적 적응이 핵심이다.