[論文レビュー] SiMBA: Simplified Mamba-Based Architecture for Vision and Multivariate Time series

Badri N. Patro, Vijay Srinivas Agneeswaran|arXiv (Cornell University)|Mar 22, 2024

Currency Recognition and Detection被引用数 27

ひとこと要約

SiMBA は Vision と多変量時系列タスクにおいて、Mambaベースの系列モデリングと新規 EinFFT の Fourier 域のチャネル混合を組み合わせ、安定かつスケーラブルな状態空間アーキテクチャを生み出し、Visionとマルチバリアント時系列タスクのパフォーマンスギャップをトランスフォーマーと埋める。ImageNetと時系列タスクで強力な結果を達成。

ABSTRACT

Transformers have widely adopted attention networks for sequence mixing and MLPs for channel mixing, playing a pivotal role in achieving breakthroughs across domains. However, recent literature highlights issues with attention networks, including low inductive bias and quadratic complexity concerning input sequence length. State Space Models (SSMs) like S4 and others (Hippo, Global Convolutions, liquid S4, LRU, Mega, and Mamba), have emerged to address the above issues to help handle longer sequence lengths. Mamba, while being the state-of-the-art SSM, has a stability issue when scaled to large networks for computer vision datasets. We propose SiMBA, a new architecture that introduces Einstein FFT (EinFFT) for channel modeling by specific eigenvalue computations and uses the Mamba block for sequence modeling. Extensive performance studies across image and time-series benchmarks demonstrate that SiMBA outperforms existing SSMs, bridging the performance gap with state-of-the-art transformers. Notably, SiMBA establishes itself as the new state-of-the-art SSM on ImageNet and transfer learning benchmarks such as Stanford Car and Flower as well as task learning benchmarks as well as seven time series benchmark datasets. The project page is available on this website ~\url{https://github.com/badripatro/Simba}.

研究の動機と目的

• 視覚領域と時系列における長距離依存性のために、安定でスケーラブルな系列モデルの必要性を動機づける。
• Mambaの不安定性に対処する安定なチャネル混合機構（EinFFT）を導入する。
• Mamba系列モデリングとEinFFTチャネル混合を組み合わせた、合理化されたSiMBAアーキテクチャを提案する。
• 従来のSSMと比較したSiMBAの性能向上と、複数のデータセットでの最新トランスフォーマーとの競争力を示す。

提案手法

• 変換特徴に対して複素数のアインシュタイン行列乗算を用いた周波数領域のチャネル混合手法としてEinFFTを導入する。
• Mambaベースの系列モデル内にEinFFTを埋め込み、安定した学習と長い系列の効率的な処理を実現するSiMBAを形成する。
• ドロップアウトと正規化を用いた残差接続で学習の安定性を向上させる。
• 系列モデリング（Mamba）とチャネル混合（EinFFT）の両方を活用したピラミッド型/競争力のあるアーキテクチャを提供する。
• ImageNet-1K、転移学習ベンチマーク（CIFAR、Stanford Car、Flowers）、および時系列データセットで広範な実験を通じて検証する。

実験結果

リサーチクエスチョン

• RQ1 EinFFTは視覚タスクの大規模ネットワークへ拡張したときにMambaを安定化させることができるか？
• RQ2 SiMBAはImageNetと時系列ベンチークにおいて状態空間モデルとトランスフォーマーの性能差を縮めるか？
• RQ3 転移学習やインスタンス分割などの下流タスクでSiMBAはどう性能を示すか？
• RQ4 アーキテクチャ要素（残差、 dropout）がSiMBAの安定性と性能に与える影響は？

主な発見

• SiMBAは視覚と時系列のベンチマークで高い性能を発揮し、大規模で観察されるMambaの不安定性の問題に対処する。
• EinFFTは安定で効率的なチャネル混合機構を提供し、Mambaと組み合わせることでImageNetおよびいくつかの時系列データセットでSSMの中で最先端の結果をもたらす。
• SiMBAは競合するSSMを上回り、報告された設定で最新のトランスフォーマーとのギャップの多くを埋める。
• SiMBAはCIFAR、Stanford Car、Flowersデータセットで転移学習の有効性を示し、インスタンス分割タスクへの適用可能性を示す。