[논문 리뷰] PlainMamba: Improving Non-Hierarchical Mamba in Visual Recognition
PlainMamba는 연속 2D 스캐닝 및 방향 인식 업데이트를 사용하는 시각 인식을 위한 간단한 비계층적 상태 공간 모델로, 계층적 모델에 비해 더 낮은 복잡도에서 경쟁력 있는 성능을 달성합니다.
We present PlainMamba: a simple non-hierarchical state space model (SSM) designed for general visual recognition. The recent Mamba model has shown how SSMs can be highly competitive with other architectures on sequential data and initial attempts have been made to apply it to images. In this paper, we further adapt the selective scanning process of Mamba to the visual domain, enhancing its ability to learn features from two-dimensional images by (i) a continuous 2D scanning process that improves spatial continuity by ensuring adjacency of tokens in the scanning sequence, and (ii) direction-aware updating which enables the model to discern the spatial relations of tokens by encoding directional information. Our architecture is designed to be easy to use and easy to scale, formed by stacking identical PlainMamba blocks, resulting in a model with constant width throughout all layers. The architecture is further simplified by removing the need for special tokens. We evaluate PlainMamba on a variety of visual recognition tasks, achieving performance gains over previous non-hierarchical models and is competitive with hierarchical alternatives. For tasks requiring high-resolution inputs, in particular, PlainMamba requires much less computing while maintaining high performance. Code and models are available at: https://github.com/ChenhongyiYang/PlainMamba .
연구 동기 및 목표
- 광범위한 시각 작업을 위한 Mamba에서 영감을 받은 간단하고 비계층적 시각 인코더를 동기 부여한다.
- 공간 연속성을 보존하기 위해 선택적 스캐닝을 2D 이미지 데이터에 적용한다.
- 공간 관계를 인코딩하기 위해 연속 2D 스캐닝과 방향 인식 업데이트를 도입한다.
- 고정된 너비를 유지하고 CLS 토큰을 피하는 확장 가능한 PlainMamba 변형을 제공한다.
- ImageNet 분류, COCO 검출, ADE20K 세그먼테이션에서 경쟁력 있는 성능을 보여준다.
제안 방법
- 입력 의존적 상태 업데이트를 가능하게 하기 위해 상태 공간 모델링(SSM)과 Mamba 접근법을 재검토한다.
- 이미지에서 시각 토큰을 생성하기 위한 컨볼루션 토크나이저를 도입한다.
- 고정된 너비를 유지하고 CLS 토큰을 피하기 위해 동일한 PlainMamba 블록을 쌓는다.
- 스캐닝 도중 2D 공간에서 토큰 인접성을 보장하기 위해 연속 2D 스캐닝을 개발한다.
- 선택적 스캐닝에 2D 상대 위치 정보를 주입하기 위해 방향 인식 업데이트를 추가한다.
- 깊이/너비가 증가하는 세 가지 PlainMamba 변형(L1, L2, L3)을 정의하고 FLOPs와 매개변수를 보고한다.
실험 결과
연구 질문
- RQ1CLS 토큰이나 계층적 다중 스케일 구조 없이 비계층적 SSM 기반 인코더가 표준 비전 작업에서 얼마나 잘 작동할 수 있는가?
- RQ2연속 2D 스캐닝과 방향 인식 업데이트가 SSM 기반 비전 모델의 2D 공간 학습을 향상시킬 수 있는가?
- RQ3분류, 검출 및 세그먼테이션에서 PlainMamba 변형이 비계층적 SSM, 트랜스포머 및 계층적 모델과 어떻게 비교되는가?
주요 결과
- PlainMamba-L2와 PlainMamba-L3은 비계층적 SSM 및 트랜스포머와 비교해 ImageNet-1K에서 경쟁력 있는 Top-1 정확도를 달성하며, 유사 크기의 계층적 모델에 근접하다.
- PlainMamba는 유사한 매개변수 예산에서 이전의 비계층적 SSM(예: Vision Mamba, Mamba-ND)을 능가한다.
- 일부 구성에서 더 적은 매개변수와 더 낮은 FLOPs를 사용하면서 시맨틱 세그멘테이션(ADE20K) 및 객체 탐지(COCO)에서 비계층적 기준선과 동등하거나 초과한다.
- 깊이와 너비의 균형이 잡힌 더 깊은 모델이 일반적으로 정확도를 향상시키나 특정 깊이와 너비를 넘어서 수익이 감소한다는 것을 시사하는 소거 연구.
- CLS-토큰 기반 또는 계층적 접근 방식과 비교할 때, PlainMamba는 더 간단하고 확장 가능한 백본을 제공하며 경쟁력 있는 성능과 다양한 모달리티 간의 더 쉬운 통합성을 갖춘다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.