[論文レビュー] State Space Model for New-Generation Network Alternative to Transformers: A Survey

Xiao Wang, Shiao Wang+14 more|arXiv (Cornell University)|Apr 15, 2024

Smart Grid Security and Resilience被引用数 17

ひとこと要約

この論文は、Transformersの効率的な代替としてのState Space Model (SSM) ベースのアーキテクチャを調査し、起源・派生・NLP・CV・グラフ・時系列・マルチモーダルデータにわたる適用を要約し、多様なダウンストリームタスクにおける実験比較を提供する。

ABSTRACT

In the post-deep learning era, the Transformer architecture has demonstrated its powerful performance across pre-trained big models and various downstream tasks. However, the enormous computational demands of this architecture have deterred many researchers. To further reduce the complexity of attention models, numerous efforts have been made to design more efficient methods. Among them, the State Space Model (SSM), as a possible replacement for the self-attention based Transformer model, has drawn more and more attention in recent years. In this paper, we give the first comprehensive review of these works and also provide experimental comparisons and analysis to better demonstrate the features and advantages of SSM. Specifically, we first give a detailed description of principles to help the readers quickly capture the key ideas of SSM. After that, we dive into the reviews of existing SSMs and their various applications, including natural language processing, computer vision, graph, multi-modal and multi-media, point cloud/event stream, time series data, and other domains. In addition, we give statistical comparisons and analysis of these models and hope it helps the readers to understand the effectiveness of different structures on various tasks. Then, we propose possible research points in this direction to better promote the development of the theoretical model and application of SSM. More related works will be continuously updated on the following GitHub: https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List.

研究の動機と目的

• State Space Models (SSMs) の原理と、それらを Transformers における自己注意の代替として用いることを紹介する。
• 既存のSSM変種・アーキテクチャ（例：Mamba、S4、S4ND、DSS）とそれらの多様なドメインへの適用を系統的にレビューする。
• ダウンストリームタスクにおける性能と効率のトレードオフを浮き彫りにするための実験的比較と分析を提供する。
• SSMs の理論と応用を発展させる研究方向を議論し、関連研究をまとめた GitHub リソースを共有する。

提案手法

• 離散時間 SS Mの数学的定式化とカルマンフィルタリングとの関係を説明する。
• Mamba の強化（選択的スキャン演算子と効率的な計算のためのハードウェア対応アルゴリズム）を説明する。
• 文献からの既存のSSMベースのモデルとアーキテクチャ（例：S4, S4ND, HiPPO, DSS）を、ドメイン横断で要約・分類する。
• ダウンストリームタスクでの実験比較を実施し、SSMベースモデルの有効性と効率を評価する。
• NLP、コンピュータビジョン、グラフ、時系列、マルチモーダルデータにわたるSSMアプリケーションの体系的な概要を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層学習における系列モデリングに用いられるState Space Modelsの核心原理と定式化は何か？
• RQ2 SSMベースのアーキテクチャ（例：Mamba、S4、DSS）は、タスク間での性能と効率の観点から、Transformerおよび他の注意機構ベースモデルとどのように比較されるか？
• RQ3 どのドメインとデータモダリティがSSMsから最も恩恵を受けるか、これらのモデルの実用的な制限は何か？
• RQ4 SSMs の理論開発と広範な応用を促進する将来の研究方向は何か？

主な発見

• SSMs は長距離依存性のモデリングにおいて、Transformersの自己注意の実行可能で、しばしば計算効率の高い代替手段を提供する。
• Mamba 系の強化は情報のフィルタリングと並列計算を改善し、効率とスケーラビリティに寄与する。
• 広範なSSMベースのモデルが、NLP、CV、グラフ、時系列、マルチモーダルタスクで高い性能を示し、精度とメモリ使用量の点で有利であるとの報告が複数ある。
• 本調査は、分類、物体追跡、セグメンテーション、画像からテキスト生成、再識別を含むダウンストリームタスクでの大規模な実験比較を提供し、SSMの実用的な有効性を示している。
• 関連するSSM論文と進展をまとめたGitHubリソースが、継続的な研究を支援している。