[논문 리뷰] Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

Shengbang Tong, Ellis Brown외 12명|arXiv (Cornell University)|2024. 06. 24.

Advanced Computational Techniques and Applications인용 수 12

한 줄 요약

이 논문은 멀티모달 LLM을 위한 비전 중심의 시각 표현을 조사하고, CV-Bench와 Spatial Vision Aggregator(SVA)를 도입하며, 오픈 가중치, 데이터, 튜닝 레시피를 제공하여 멀티모달 비전-근거 LLM 연구를 진전시킨다.

ABSTRACT

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, address the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.

연구 동기 및 목표

• 다른 시각 인코더와 조합이 멀티모달 LLM 성능에 미치는 영향을 평가한다.
• MLLM에서 시각적 근거를 평가하기 위한 비전 중심 벤치마킹 세트(CV-Bench)를 도입한다.
• 토큰 부하를 줄이면서 고해상도 시각 특징을 LLM과 융합하기 위한 동적이고 공간 인식 커넥터(SVA)를 개발한다.
• 오픈하고 재현 가능한 MLLM 연구를 가능하게 하는 데이터 큐레이션 전략과 instruction-tuning 레시피를 제공한다.
• 최신 기술 결과를 입증하고 모델, 코드, 데이터셋의 공개 릴리스를 촉진한다.

제안 방법

• Vicuna-1.5-7B 기반 MLLM 프레임워크에서 두 단계의 instruction-tuning 파이프라인을 사용하여 23개의 시각 백본을 시각 인코더로 체계적으로 평가한다.
• 다중 인코더 융합을 위한 동적이고 공간 인식 교차 어텐션 커넥터로 Spatial Vision Aggregator(SVA)를 제안하고 분석한다.
• 표준 시각 벤치마크를 2D 및 3D 이해를 평가하기 위한 비전 중심 VQA 형식(CV-Bench)으로 재구성한다.
• 시각 인코더를 동결/해제하고 어댑터 데이터(0M, 0.5M, 1.2M)를 변화시키며 학습 레시피를 연구한다.
• 여러 시각 인코더를 결합한 앙상블 전략을 탐색하고 벤치마크 성능에 미치는 영향을 평가한다.
• 오픈 모델 가중치, 코드, 데이터셋 및 상세한 평가 및 튜닝 레시피를 제공한다.

실험 결과

연구 질문

• RQ1 다른 시각 인코더(자체 감독 및 언어 감독 포함)가 광범위한 시각 중심 작업에서 MLLM 성능에 어떤 영향을 미치는가?
• RQ2 비전 중심 벤치마크(CV-Bench)가 MLLMs의 시각적 근거를 신뢰성 있게 평가하고 현재 표현의 격차를 드러낼 수 있는가?
• RQ3 지시 조정 데이터 크기와 커넥터 훈련 전략이 MLLM 성능에 어떤 영향을 미치는가?
• RQ4 시각 인코더를 해제시키면 벤치마크와 아키텍처 전반에서 성능이 일관되게 향상되는가?
• RQ5 SVA를 통해 여러 시각 인코더를 결합하는 것이 단일 인코더 설정보다 우수한가?

주요 결과

• 언어 감독 시각 인코더가 대부분의 벤치마크에서 SSL/다른 인코더보다 일반적으로 우수하며, 특히 차트 및 OCR 작업에서 그렇다.
• 1.2M 어댑터 데이터로 두 단계 학습은 도메인 간 단일 단계 학습보다 성능이 더 좋다.
• 시각 인코더를 해제하면 대부분의 설정에서 성능이 향상되며, SSL 모델이 시각 중심 작업에서 더 많은 이득을 얻는다.
• 고해상도 인코더와 ConvNet 기반 아키텍처는 차트/OCR 및 시각 중심 성능을 현저히 향상시킨다.
• 여러 시각 인코더를 앙상블하면 일관된 이득이 나타나며, 특히 시각 중심 작업에 혜택을 준다.
• DINOv2(SSL)는 충분한 데이터와 적절한 파인튜닝이 주어지면 언어 감독 모델과의 격차를 좁힐 수 있으며, 특히 시각 중심 작업에서 그렇다.