[논문 리뷰] VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

Boqiang Zhang, Kehan Li외 13명|ArXiv.org|2025. 01. 22.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

VideoLLaMA3는 이미지 및 비디오 이해를 위한 시각 중심의 다중모달 기초 모델로, 고품질 이미지-텍스트 데이터와 vision-centric 아키텍처를 강조하는 four-stage 파이프라인으로 학습되었습니다.

ABSTRACT

In this paper, we propose VideoLLaMA3, a more advanced multimodal foundation model for image and video understanding. The core design philosophy of VideoLLaMA3 is vision-centric. The meaning of "vision-centric" is two-fold: the vision-centric training paradigm and vision-centric framework design. The key insight of our vision-centric training paradigm is that high-quality image-text data is crucial for both image and video understanding. Instead of preparing massive video-text datasets, we focus on constructing large-scale and high-quality image-text datasets. VideoLLaMA3 has four training stages: 1) Vision Encoder Adaptation, which enables vision encoder to accept images of variable resolutions as input; 2) Vision-Language Alignment, which jointly tunes the vision encoder, projector, and LLM with large-scale image-text data covering multiple types (including scene images, documents, charts) as well as text-only data. 3) Multi-task Fine-tuning, which incorporates image-text SFT data for downstream tasks and video-text data to establish a foundation for video understanding. 4) Video-centric Fine-tuning, which further improves the model's capability in video understanding. As for the framework design, to better capture fine-grained details in images, the pretrained vision encoder is adapted to encode images of varying sizes into vision tokens with corresponding numbers, rather than a fixed number of tokens. For video inputs, we reduce the number of vision tokens according to their similarity so that the representation of videos will be more precise and compact. Benefit from vision-centric designs, VideoLLaMA3 achieves compelling performances in both image and video understanding benchmarks.

연구 동기 및 목표

• 이미지 및 비디오 이해를 위한 다중모달 기초 모델링에 시각 중심 접근법을 고취한다.
• 대규모 비디오-텍스트 데이터보다 고품질 이미지-텍스트 데이터를 우선시하는 학습 파이프라인을 개발한다.
• 가변 이미지 해상도를 처리하고 비디오 표현을 효율적으로 적응시킬 수 있는 비전 인코더와 프레임워크를 설계한다.
• 하위 작업과 비디오 이해를 지원하기 위해 결합된 비전-언어 정렬과 다중 태스크 미세 조정을 가능하게 한다.
• 시각 중심 설계를 통해 이미지 및 비디오 이해 벤치마크에서 성능 향상을 입증한다.

제안 방법

• 가변 해상도의 이미지를 수용하고 대응하는 비전 토큰을 생성하도록 비전 인코더를 적응시킨다.
• 다양한 유형의 대형 이미지-텍스트 데이터 및 텍스트 전용 데이터를 활용하여 비전 인코더, 프로젝터, LLM을 공동으로 조정하는 비전-언어 정렬.
• 다운스트림 태스크를 위한 이미지-텍스트 SFT 데이터를 포함하고 비디오-텍스트 데이터를 통해 비디오 이해 기반을 시드하는 다중 태스크 미세 조정.
• 비디오 중심의 미세 조정을 통해 비디오 이해 능력을 더욱 향상한다.
• 이미지를 가변 수의 비전 토큰으로 인코딩하고 유사도에 따른 비디오 토큰 축소를 통해 정확하고 간결한 비디오 표현을 산출하는 토크나이제이션 전략.

실험 결과

연구 질문

• RQ1 고품질 이미지-텍스트 데이터로 시각 중심 트레이닝 패러다임이 이미지와 비디오 이해를 모두 향상시킬 수 있는가?
• RQ2 가변 이미지 해상도에 비전 인코더를 적응시키는 것이 다운스트림 성능에 어떤 영향을 미치는가?
• RQ3 결합된 비전-언어 정렬, 다중 태스크 미세 조정, 그리고 비디오 중심 미세 조정이 다중모달 이해에 어떤 영향을 미치는가?
• RQ4 토큰 수준의 적응(가변 비전 토큰)이 미세한 이미지 표현과 간결한 비디오 표현에 이익을 주는가?
• RQ5 이미지-텍스트 사전 학습과 타깃 비디오 미세 조정이 이미지 및 비디오 벤치마크에서 경쟁력 있는 결과를 낳을 수 있는가?

주요 결과

• VideoLLaMA3는 이미지 및 비디오 이해를 모두 강조하는 four-stage 학습 프로세스를 채택한다.
• 이 프레임워크는 가변 이미지 해상도에 적응된 비전 인코더와 미세한 이미지 디테일을 포착하기 위한 동적 비전 토큰 전략을 사용한다.
• 결합된 비전-언어 정렬은 다양한 이미지-텍스트 및 텍스트 전용 데이터를 사용하여 비전 인코더, 프로젝터 및 LLM을 조정한다.
• 다중 태스크 및 비디오 중심 미세 조정은 비디오 이해의 기반을 구축하고 비디오 입력에 대한 능력을 향상시킨다.
• 시각 중심 설계가 이미지 및 비디오 이해 벤치마크에서 설득력 있는 성능을 낸다.