[논문 리뷰] VL-Mamba: Exploring State Space Models for Multimodal Learning

Yanyuan Qiao, Zheng Yu외 6명|arXiv (Cornell University)|2024. 03. 20.

Speech and dialogue systems인용 수 10

한 줄 요약

VL-Mamba은 상태 공간 모델(Mamba) 백본을 기반으로 한 다중 모달 대형 언어 모델을 도입하고, Vision Selective Scan 기반 다중 모달 커넥터를 통해 여덟 가지 벤치마크에서 경쟁력 있는 결과를 달성합니다.

ABSTRACT

Multimodal large language models (MLLMs) have attracted widespread interest and have rich applications. However, the inherent attention mechanism in its Transformer structure requires quadratic complexity and results in expensive computational overhead. Therefore, in this work, we propose VL-Mamba, a multimodal large language model based on state space models, which have been shown to have great potential for long-sequence modeling with fast inference and linear scaling in sequence length. Specifically, we first replace the transformer-based backbone language model such as LLama or Vicuna with the pre-trained Mamba language model. Then, we empirically explore how to effectively apply the 2D vision selective scan mechanism for multimodal learning and the combinations of different vision encoders and variants of pretrained Mamba language models. The extensive experiments on diverse multimodal benchmarks with competitive performance show the effectiveness of our proposed VL-Mamba and demonstrate the great potential of applying state space models for multimodal learning tasks.

연구 동기 및 목표

• 다중 모달 학습에서 Transformer 규모의 연산을 해결하기 위해 상태 공간 모델(SSMs)의 사용을 동기화한다.
• Transformer 기반 백본을 Mamba LLM으로 교체하고 2D 비전 선택적 스캔 기반 MMC를 추가하여 VL-Mamba를 제안한다.
• 다양한 비전 인코더, LLM 변형 및 MMC 아키텍처가 다중 모달 성능에 미치는 영향을 조사한다.
• 표준 다중 모달 벤치마크에서 경쟁력 있는 결과를 시연하고 구성 요소 기여를 이해하기 위한 차등 분석을 제공한다.]
• method:[
• 사전 학습된 Mamba LLM을 백본 언어 모델로 사용하고 Transformer 기반 LLM 대신으로 한다.
• 비전 인코더로 Vision Transformer를 도입해 이미지 패치 특징을 추출한다.
• Vision Selective Scan(VSS)을 통해 2D 시각 데이터를 1D 연속 모델링과 연결하는 MultiModal Connector(MMC)를 도입한다.
• 시각적 맥락을 효율적으로 포착하기 위해 두 가지 2D 스캔 메커니즘(Bidirectional-Scan 및 Cross-Scan)을 탐구한다.
• MMC 변형 3종(MLP, VSS-MLP, VSS-L2)과 두 비전 인코더(CLIP-ViT-L와 SigLIP-SO)를 정교한 차등 분석을 통해 평가한다.
• 여덟 개의 다중 모달 벤치마크에서 VL-Mamba와 최첨단 MLLMs를 비교하는 실험을 수행한다.

제안 방법

• 사전 학습된 Mamba LLM을 백본 언어 모델로 사용하고 Transformer 기반 LLM을 대체한다.
• Vision Transformer를 비전 인코더로 도입해 이미지 패치 특징을 추출한다.
• 2D 시각 데이터를 1D 순차 모델링과 연결하는 Vision Selective Scan(VSS) 기반 MMC를 도입한다.
• 시각 맥락을 효율적으로 포착하기 위해 두 가지 2D 스캔 기계(Bidirectional-Scan와 Cross-Scan)를 탐구한다.
• MMC 변형(MLP, VSS-MLP, VSS-L2)과 두 비전 인코더(CLIP-ViT-L, SigLIP-SO)를 광범위한 차등 분석으로 평가한다.
• 여덟 개의 다중 모달 벤치마크에서 VL-Mamba를 최첨단 MLLMs와 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 Transformer 백본을 Mamba LLM으로 대체하면 다중 모달 태스크의 효율성과 확장성이 향상되는가?
• RQ2 2D Vision Selective Scan 기반 MMC가 비인과관계의 시각 데이터를 인과적 상태 공간 모델링과 연결하는 데 얼마나 효과적인가?
• RQ3 다른 비전 인코더, MMC 아키텍처, 스캔 메커니즘이 다중 모달 벤치마크에 미치는 영향은 무엇인가?
• RQ4 VL-Mamba가 일부 대형 MLLMs보다 더 적은 매개변수 수와 적은 사전 학습 데이터로도 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• VL-Mamba는 유사한 크기의 다른 소형 MLLMs에 비해 경쟁력 있는 성능을 보이며, 일부 벤치마크에서 더 큰 모델을 능가할 수 있다.
• 비전 인코더로 SigLIP-SO를, LLM으로 Mamba-2.8B-Slimpj를 사용한 VL-Mamba 변형은 차등 분석에서 강력한 전반적 성능을 보인다.
• VSS-L2 MMC 아키텍처와 Bidirectional Scan(BSM)은 일반적으로 벤치마크 전반에서 강한 결과를 산출한다.
• VL-Mamba는 상태 공간 모델을 다중 모달 학습 태스크에 적용하는 가능성을 경쟁력 있는 결과로 시연한다.
• 차등 분석에 따르면 언어 모델 변형, 비전 인코더, MMC 설계 및 스캔 메커니즘이 모두 성능에 의미 있게 영향을 미친다.