[논문 리뷰] Ovis: Structural Embedding Alignment for Multimodal Large Language Model

Shiyin Lu, Yang Li외 5명|arXiv (Cornell University)|2024. 05. 31.

Topic Modeling인용 수 4

한 줄 요약

Ovis는 시각적 및 텍스처적 임베딩을 구조적으로 정렬하기 위해 학습 가능한 시각적 임베딩 테이블을 도입함으로써, 다중모odal 대규모 언어 모델 아키텍처의 새로운 접근법을 제안한다. 이는 시각적 토큰을 이산적인 시각적 '단어'로 확률적으로 매핑함으로써, LLM의 토크나이제이션 방식을 모방한다. 이 방법은 여러 벤치마크에서 최신 기술 수준의 성능을 달성하며, Ovis-14B는 유사한 크기의 오픈소스 모델들과도 비교해도 우수한 성능을 보이며, 독자적인 Qwen-VL-Plus를 능가한다.

ABSTRACT

Current Multimodal Large Language Models (MLLMs) typically integrate a pre-trained LLM with another pre-trained vision transformer through a connector, such as an MLP, endowing the LLM with visual capabilities. However, the misalignment between two embedding strategies in MLLMs -- the structural textual embeddings based on an embedding look-up table and the continuous embeddings generated directly by the vision encoder -- makes challenges for a more seamless fusion of visual and textual information. We propose Ovis, a novel MLLM architecture designed to structurally align visual and textual embeddings. Ovis integrates an additional learnable visual embedding table into the visual encoder's process. To capture rich visual semantics, each image patch indexes the visual embedding table multiple times, resulting in a final visual embedding that is a probabilistic combination of the indexed embeddings. This structural approach mirrors the method used for generating textual embeddings. Empirical evaluations on various multimodal benchmarks show that Ovis outperforms open-source MLLMs of similar parameter scales and even surpasses the proprietary model Qwen-VL-Plus overall. These results highlight the potential of Ovis' structured visual representation for advancing MLLM architectural design and promoting more effective multimodal learning. Code, datasets, and models are available at https://github.com/AIDC-AI/Ovis.

연구 동기 및 목표

• 현재 MLLM에서 발생하는 구조적 텍스트 임베딩(검색 테이블 기반)과 비구조적 시각 임베딩(비전 인코더 기반) 간의 본질적 불일치를 해결한다.
• LLM의 텍스트 임베딩과 동일한 구조적 원칙을 따르는 방식으로 시각 임베딩 생성을 개선함으로써 다중모달 융합을 향상시킨다.
• 통합된 임베딩 전략을 통해 시각과 언어 표현의 더 효과적이고 일관된 융합을 가능하게 한다.
• 고해상도 이미지 강화 기법에 의존하지 않고도 다중모달 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 각 행이 고유한 시각적 패턴에 해당하는 유일한 시각적 단어를 나타내는 학습 가능한 시각적 임베딩 검색 테이블을 도입한다.
• 비전 인코더에서 생성된 연속적인 시각적 토큰을 전체 시각적 어휘와의 유사도를 나타내는 확률적 토큰으로 매핑한다.
• 확률적 토큰을 사용해 시각적 임베딩 테이블을 다중으로 인덱싱함으로써, 색인된 임베딩의 가중 조합으로 최종 시각적 임베딩을 생성한다.
• 보조 목표(예: 벡터 양자화) 없이도 텍스트 생성 손실을 통해 시각적 임베딩 테이블과 확률적 매핑 파rameter를 함께 학습한다.
• 시각 표현 품질을 유지하면서 텍스트 생성과의 정렬을 보장하기 위해 세 단계의 훈련 프로세스를 최적화한다.
• 표준 비전 트랜스포머(ViT)와 LLM 백본을 사용하며, 시각적 임베딩 테이블을 비전 인코더 처리 파이프라인에 통합한다.

Figure 1 : Comparison between different embedding strategies in MLLM. In the connector-based approach (a), the connector transforms the visual embeddings into the same dimensional as the textual embedding, where the latter is indexed from a textual embedding table. As illustrated in (b), our Ovis le

실험 결과

연구 질문

• RQ1 텍스트 임베딩의 검색 테이블 기반 전략을 모방하는 방식으로 시각 임베딩을 구조화함으로써 MLLM의 다중모달 추론 성능을 향상시킬 수 있는가?
• RQ2 동일한 파라미터 수를 가진 경우, 학습 가능한 시각적 임베딩 테이블이 기존 커넥터 기반 아키텍처보다 더 높은 성능을 내는가?
• RQ3 고해상도 이미지 강화 기법을 사용하지 않고도, Qwen-VL-Plus와 같은 고자원 전용 모델을 능가할 수 있는가?
• RQ4 제안된 아키텍처는 기존 오픈소스 MLLM과 비교해 추론 중심 및 환각 민감도가 높은 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• Ovis-14B는 고해상도 이미지 강화 기법 없이도 여러 다중모달 벤치마크에서 독자적인 Qwen-VL-Plus를 종합적으로 능가한다.
• Ovis-8B는 다른 7B 수준의 오픈소스 MLLM들과 비교해 특히 추론 및 사실 정확도 작업에서 뚜렷한 성능 격차를 확보한다.
• MathVista-Mini 벤치마크에서 Ovis는 오픈소스 경쟁자들에 비해 뛰어난 수학적 및 논리적 추론 능력을 보여준다.
• RealWorldQA 벤치마크에서 Ovis-14B는 고해상도 실생활 시각 작업에서 GPT4V를 뛰어넘는 점수를 기록하여 강력한 실생활 시각 이해 능력을 입증한다.
• 환각 벤치마크에서 Ovis-8B와 Ovis-14B는 각각의 파라미터 계층에서 가장 낮은 환각 비율을 보였다.
• 제거 실험 결과, Ovis는 동일한 백본과 파라미터 수를 가진 커넥터 기반 아키텍처보다 모든 벤치마크에서 평균 8.8% 높은 성능을 기록했다.

(a) 7B tier