[논문 리뷰] MambaOut: Do We Really Need Mamba for Vision?

Weihao Yu, Xinchao Wang|arXiv (Cornell University)|2024. 05. 13.

African history and culture studies인용 수 34

한 줄 요약

MambaOut는 Mamba 블록에서 상태 공간 모델(SSM)을 제거하고 게이트 CNN 블록을 쌓아 SSM이 ImageNet 이미지 분류에 불필요하다는 것을 보여주는 반면, SSM은 탐지 및 분할과 같은 장기 시퀀스 비전 작업에 도움이 될 수 있음을 시사합니다.

ABSTRACT

Mamba, an architecture with RNN-like token mixer of state space model (SSM), was recently introduced to address the quadratic complexity of the attention mechanism and subsequently applied to vision tasks. Nevertheless, the performance of Mamba for vision is often underwhelming when compared with convolutional and attention-based models. In this paper, we delve into the essence of Mamba, and conceptually conclude that Mamba is ideally suited for tasks with long-sequence and autoregressive characteristics. For vision tasks, as image classification does not align with either characteristic, we hypothesize that Mamba is not necessary for this task; Detection and segmentation tasks are also not autoregressive, yet they adhere to the long-sequence characteristic, so we believe it is still worthwhile to explore Mamba's potential for these tasks. To empirically verify our hypotheses, we construct a series of models named MambaOut through stacking Mamba blocks while removing their core token mixer, SSM. Experimental results strongly support our hypotheses. Specifically, our MambaOut model surpasses all visual Mamba models on ImageNet image classification, indicating that Mamba is indeed unnecessary for this task. As for detection and segmentation, MambaOut cannot match the performance of state-of-the-art visual Mamba models, demonstrating the potential of Mamba for long-sequence visual tasks. The code is available at https://github.com/yuweihao/MambaOut

연구 동기 및 목표

• Mamba의 상태 공간 모델(SSM)이 시각 인식 과제에 필요한지 평가한다.
• SSM-없는 MambaOut의 ImageNet 분류 성능을 시각 Mamba 모델과 비교한다.
• 물체 탐지 및 의미론적 분할과 같은 장기 시퀀스 비전 과제에서 SSM의 잠재적 이점을 조사한다.

제안 방법

• ResNet 유사 4단 계층에서 SSM 없이 Gated CNN 블록을 겹겹이 쌓아 MambaOut를 구성한다.
• Gated CNN 블록에서 Mamba의 SSM 기반 토큰 믹서를 간단한 깊이별 Conv 기반 토큰 믹서로 대체한다.
• DeiT 스타일 증강과 AdamW 최적화를 사용하여 ImageNet에서 훈련하고 시각 Mamba 모델과 비교한다.
• Mask R-CNN을 백본으로 사용하여 COCO에서 탐지/분할 평가를 수행한다.
• UperNet 백본을 사용하여 ADE20K에서 의미론적 분할 평가를 수행한다.

실험 결과

연구 질문

• RQ1 SSM이 Mamba 유사 아키텍처를 사용할 때 ImageNet 이미지 분류에 필요한가?
• RQ2 SSM 없이 더 간단한 Gated CNN/블록이 ImageNet 분류에서 시각 Mamba 모델보다 우수할 수 있는가?
• RQ3 장기 시퀀스 비전 작업(예: 물체 탐지 및 의미론적 분할)에 대해 SSM 제거가 성능 저하를 야기하는가?
• RQ4 비전에서 Mamba의 이점은 장기 시퀀스나 자기회귀 작업에 한정되어 있는지에 대한 증거가 있는가?

주요 결과

• SSM 없이도 MambaOut은 ImageNet에서 다양한 크기에서 시각 Mamba 모델보다 지속적으로 우수하다.
• MambaOut은 유사 MAC에서 LocalVMamba-S 및 다른 시각 Mamba 변종보다 상위 1위 정확도를 달성한다.
• COCO 및 ADE20K에서 MambaOut은 최첨단 시각 Mamba 모델의 성능에 도달하지 못하고 일반적으로 최적의 합성-주의 하이브리드보다 뒤처지며, SSM이 여전히 장기 시퀀스 비전 작업에 도움이 될 수 있음을 시사한다.
• 전반적으로 MambaOut은 이미지 분류에 SSM이 불필요하다는 가설을 뒷받침하지만 탐지 및 분할 작업에 대한 SSM의 잠재적 이점을 시사한다.