[論文レビュー] MambaOut: Do We Really Need Mamba for Vision?

Weihao Yu, Xinchao Wang|arXiv (Cornell University)|May 13, 2024

African history and culture studies被引用数 34

ひとこと要約

MambaOut は Mamba ブロックから状態空間モデル（SSM）を除去し、ゲート付き CNN ブロックを積み上げることで SSM が ImageNet 画像分類に不要であることを示しつつ、SSM は検出やセマンティック分割のような長いシーケンス視覚タスクに役立つ可能性を示唆します。

ABSTRACT

Mamba, an architecture with RNN-like token mixer of state space model (SSM), was recently introduced to address the quadratic complexity of the attention mechanism and subsequently applied to vision tasks. Nevertheless, the performance of Mamba for vision is often underwhelming when compared with convolutional and attention-based models. In this paper, we delve into the essence of Mamba, and conceptually conclude that Mamba is ideally suited for tasks with long-sequence and autoregressive characteristics. For vision tasks, as image classification does not align with either characteristic, we hypothesize that Mamba is not necessary for this task; Detection and segmentation tasks are also not autoregressive, yet they adhere to the long-sequence characteristic, so we believe it is still worthwhile to explore Mamba's potential for these tasks. To empirically verify our hypotheses, we construct a series of models named MambaOut through stacking Mamba blocks while removing their core token mixer, SSM. Experimental results strongly support our hypotheses. Specifically, our MambaOut model surpasses all visual Mamba models on ImageNet image classification, indicating that Mamba is indeed unnecessary for this task. As for detection and segmentation, MambaOut cannot match the performance of state-of-the-art visual Mamba models, demonstrating the potential of Mamba for long-sequence visual tasks. The code is available at https://github.com/yuweihao/MambaOut

研究の動機と目的

• 視覚認識タスクにおいて Mamba の状態空間モデル（SSM）が必要かどうかを評価する。
• ImageNet 分類において SSM なしの MambaOut の性能を視覚 Mamba モデルと比較して評価する。
• 物体検出やセマンティックセグメンテーションなど長いシーケンス視覚タスクに対する SSM の潜在的利益を検討する。

提案手法

• MambaOut を ResNet ラインの 4 段階階層で SSM なしのゲート付き CNN ブロックを積み重ねて構築する。
• Mamba の SSM ベースのトークンミキサーを、ゲート付き CNN ブロック内の単純な深さ方向畳み込みベースのトークンミキサーに置換する。
• DeiT スタイルの増強と AdamW 最適化を用いて ImageNet で訓練し、視覚 Mamba モデルと比較する。
• バックボーンとして Mask R-CNN を用いた検出/セグメンテーションについて COCO で評価する。
• UperNet バックボーンを用いたセマンティックセグメンテーションについて ADE20K で評価する。

実験結果

リサーチクエスチョン

• RQ1 SSM は Mamba に類似したアーキテクチャを用いた場合、ImageNet の画像分類に必要か。
• RQ2 SSM なしのより単純なゲート付き CNN/ブロックは、ImageNet 分類で視覚 Mamba モデルを上回れるか。
• RQ3 SSM を除去すると、物体検出やセマンティックセグメンテーションなど長いシーケンス視覚タスクの性能は低下するか。
• RQ4 視覚における Mamba の利点は長いシーケンスまたは自回帰タスクに限定されるという証拠があるか。

主な発見

• SSM なしの MambaOut は、ImageNet において複数のサイズで視覚 Mamba モデルを一貫して上回る。
• MambaOut は、同様の MACs で LocalVMamba-S や他の視覚 Mamba 変種よりも高いトップ-1 精度を達成する。
• COCO および ADE20K では、MambaOut は最先端の視覚 Mamba モデルの性能には及ばず、一般に最先端の畳み込み-注意機構ハイブリッドには及ばないため、長いシーケンス視覚タスクには SSM が依然として有用であることを示唆している。
• 総じて、MambaOut は画像分類には SSM が不要であるという仮説を支持する一方、検出とセグメンテーションタスクには SSM の潜在的利益を示唆する。