[논문 리뷰] Vision Mamba: A Comprehensive Survey and Taxonomy

Xiao Liu, Chenxu Zhang외 1명|arXiv (Cornell University)|2024. 05. 07.

Global Maritime and Colonial Histories인용 수 34

한 줄 요약

비전 맘바( Vision Mamba ) 계열의 상태 공간 모델 기반 아키텍처에 대한 포괄적 조사와 분류 체계로, 일반 비전, 다중 모달, 수직 도메인 작업을 아우른다.

ABSTRACT

State Space Model (SSM) is a mathematical model used to describe and analyze the behavior of dynamic systems. This model has witnessed numerous applications in several fields, including control theory, signal processing, economics and machine learning. In the field of deep learning, state space models are used to process sequence data, such as time series analysis, natural language processing (NLP) and video understanding. By mapping sequence data to state space, long-term dependencies in the data can be better captured. In particular, modern SSMs have shown strong representational capabilities in NLP, especially in long sequence modeling, while maintaining linear time complexity. Notably, based on the latest state-space models, Mamba merges time-varying parameters into SSMs and formulates a hardware-aware algorithm for efficient training and inference. Given its impressive efficiency and strong long-range dependency modeling capability, Mamba is expected to become a new AI architecture that may outperform Transformer. Recently, a number of works have attempted to study the potential of Mamba in various fields, such as general vision, multi-modal, medical image analysis and remote sensing image analysis, by extending Mamba from natural language domain to visual domain. To fully understand Mamba in the visual domain, we conduct a comprehensive survey and present a taxonomy study. This survey focuses on Mamba's application to a variety of visual tasks and data types, and discusses its predecessors, recent advances and far-reaching impact on a wide range of domains. Since Mamba is now on an upward trend, please actively notice us if you have new findings, and new progress on Mamba will be included in this survey in a timely manner and updated on the Mamba project at https://github.com/lx6c78/Vision-Mamba-A-Comprehensive-Survey-and-Taxonomy.

연구 동기 및 목표

• 비주얼 데이터와 장거리 의존성에 상태 공간 모델을 적용하는 동기를 명확히 한다.
• 일반 비전, 다중 모달, 수직 도메인 작업 전반에 걸쳐 Vision Mamba 변형을 체계적으로 분류한다.
• 시스템 아키텍처 원리인 SSM, Mamba, 및 HiPPO 기반 구성요소를 비전 차원에서 설명한다.
• 데이터 유형과 하이라이트 속성을 포함한 분류법을 제시하여 연구자들이 관련 Mamba 변형을 선택하는 데 도움을 준다.
• 원격 감지 및 의학 영상 분석의 응용과 진전을 요약한다.

제안 방법

• 시퀀스-투-시퀀스 매핑을 위한 State Space Models(SSMs)와 S4 수식을 설명한다.
• 입력 의존적인 B, C, Delta를 갖춘 Selective State Space Models(S6)를 도입하여 콘텐츠 인식 처리 가능성을 확보한다.
• 효율적인 병렬 계산과 메모리 관리가 가능하도록 하드웨어 인지형 상태 확장을 제시한다.
• 일반 비전, 저수준 비전, 3D 비전, 다중 모달 도메인에 걸친 Vision Mamba 변형의 분류 체계를 제시한다.
• 데이터 유형과 하이라이트 범주화를 포함하여 원격 감지 및 의학 영상 분야의 수직 도메인 응용을 논의한다.

실험 결과

연구 질문

• RQ1 SSMs와 Mamba가 시각 데이터의 장거리 의존성 모델링을 발전시키는 데 어떤 역할을 하는가?
• RQ2 General vision, multi-modal 작업 및 수직 도메인에서 실용적 응용에 도움이 되도록 Vision Mamba 변형을 어떻게 분류할 수 있는가?
• RQ3 Vision Mamba에서 선택적 스캐닝과 하드웨어 인지형 설계의 아키텍처적·효율적 트레이드오프는 무엇인가?
• RQ4 원격 감지 및 의학 영상에서 Vision Mamba 변형이 기존 백본과 비교하여 어떤 성능을 보이는가?

주요 결과

• Vision Mamba 변형은 선형 복잡도와 강력한 장거리 의존성 모델링을 비전 과제에 활용한다.
• 선택적 메커니즘(S6)과 하드웨어 인지형 상태 확장은 데이터 의존 처리와 효율적인 계산을 가능하게 한다.
• 일반 비전, 다중 모달, 수직 도메인 응용에 걸친 광범위한 분류 체계가 Mamba 변형과 데이터 유형을 체계화한다.
• Imagen-분류 및 비전 벤치마크에서 CNN과 Transformer에 비해 여러 설정에서 경쟁력 있는 성능을 보인다.
• 원격 감지 및 의학 영상 분야를 위한 전문화된 Mamba 변형은 고해상도 입력 및 다중 모달 데이터 통합과 같은 도메인 특화 문제를 다룬다.
• 하이브리드 CNN–Mamba 모델과 전달 학습 지향 변형(V-Mamba, DGMamba 등)은 일부 설정에서 일반화 및 안정성을 향상시킨다.