[논문 리뷰] Visual Mamba: A Survey and New Outlooks

Rui Xu, Shu Yang외 4명|arXiv (Cornell University)|2024. 04. 29.

Impact of Light on Environment and Health인용 수 33

한 줄 요약

Visual Mamba 백본에 대한 포괄적 고찰로, 그들의 형태, 백본 설계, 모달리티별 응용, 문제점 및 향후 방향을 자세히 다룬다.

ABSTRACT

Mamba, a recent selective structured state space model, excels in long sequence modeling, which is vital in the large model era. Long sequence modeling poses significant challenges, including capturing long-range dependencies within the data and handling the computational demands caused by their extensive length. Mamba addresses these challenges by overcoming the local perception limitations of convolutional neural networks and the quadratic computational complexity of Transformers. Given its advantages over these mainstream foundation architectures, Mamba exhibits great potential to be a visual foundation architecture. Since January 2024, Mamba has been actively applied to diverse computer vision tasks, yielding numerous contributions. To help keep pace with the rapid advancements, this paper reviews visual Mamba approaches, analyzing over 200 papers. This paper begins by delineating the formulation of the original Mamba model. Subsequently, it delves into representative backbone networks, and applications categorized using different modalities, including image, video, point cloud, and multi-modal data. Particularly, we identify scanning techniques as critical for adapting Mamba to vision tasks, and decouple these scanning techniques to clarify their functionality and enhance their flexibility across various applications. Finally, we discuss the challenges and future directions, providing insights into new outlooks in this fast evolving area. A comprehensive list of visual Mamba models reviewed in this work is available at https://github.com/Ruixxxx/Awesome-Vision-Mamba-Models.

연구 동기 및 목표

• Mamba 공식화 및 Kontext 기반 추론을 위한 구조화된 상태공간 모델(SSMs)을 확장하는 방법을 설명한다.
• 대표적인 Visual Mamba 백본과 그 아키텍처 블록(Vim, VMamba, Mamba-ND, PlainMamba, VSS, EVSS, 등)을 요약한다.
• 시각 정보의 모달리티(image, video, point cloud, multi-modal) 및 작업(classification, detection, segmentation)으로 백본 응용을 분류한다.
• Visual Mamba를 컴퓨터 비전 작업에 적용할 때의 도전 과제를 식별하고 미래 방향을 제안한다.

제안 방법

• Mamba의 공식화와 입력(x)에 따라 매개변수를 함수로 만드는 선택적 SSM 메커니즘을 제시한다( B, C, 및 Delta가 x에 따라 의존).
• 연속 길이에 선형 확장성을 가진 융합된 단순화된 SSM-MLP 아키텍처로서의 Mamba 블록을 설명한다.
• Visual Mamba 백본 변형들(Vim, VMamba, Mamba-ND, PlainMamba, LocalMamba, EfficientVMamba, SiMBA)과 2D 스캐닝 전략들(SS2D, zigzag, cross-scan 등)을 소개한다.
• 계층적 대 비계층적 백본을 논의하고, 스캐닝 모드, 축, 연속성, 샘플링을 분류한다.
• 대표 벤치마크와 모달리티 간 적응을 통해 백본의 성능 영향 요인을 요약한다.

실험 결과

연구 질문

• RQ1 핵심 Mamba 공식화는 무엇이며 선택적 SSM은 문맥 기반 추론을 어떻게 다루는가?
• RQ2 시각적 Mamba 백본이 1D 선택적 스캔을 2D 이미지 데이터에 어떻게 적용하며 주요 아키텍처 변형은 무엇인가?
• RQ3 어떤 모달리티와 비전 작업이 Visual Mamba 백본의 이점을 얻고, 주요 성능 및 효율성 트레이드오프는 무엇인가?
• RQ4 다양한 CV 작업에 Visual Mamba를 확장하는 데서 어떤 도전이 생기며, 어떤 미래 방향이 예상되는가?

주요 결과

• Visual Mamba는 입력 주도적 선택적 SSM 매개변수를 통합하여 컨텍스트 기반 추론과 선형 시퀀스 길이 확장성을 가능하게 한다.
• 여러 시각적 백본(Vim, VMamba, Mamba-ND, PlainMamba, LocalMamba, EVSS, SiMBA)은 분류, 탐지, 세그먼테이션 작업에서 경쟁력 있는 성능을 보여준다.
• Visual Mamba 백본은 2D 이미지 데이터를 처리하기 위해 다양한 2D 스캐닝 전략(SS2D, zigzag, cross-scan)을 사용하며 지역 정보와 글로벌 정보를 균형 있게 처리하고 효율성을 확보한다.
• 하이브리드 및 비계층적 설계(예: PlainMamba, LocalMamba, EfficientVMamba)는 정확도, 대기 시간, 매개변수 효율성 간의 서로 다른 트레이드오프를 제공한다.
• 시리즈의 백본 모델과 응용은 참조 저장소 Awesome-Vision-Mamba-Models에 포괄적으로 유지된다.
• 데이터 사용, 알고리즘 설계 및 하드웨어 친화적 가속에 대한 도전과 향후 방향을 제시한다.