[論文レビュー] MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting

Xiuding Cai, Yaoyao Zhu+2 more|arXiv (Cornell University)|May 26, 2024

Stock Market Forecasting Methods被引用数 11

ひとこと要約

MambaTSは、可変性を考慮したスキャンと置換戦略を組み合わせて、線形計算量で最先端の長期多変量時系列予測を実現する選択的状態空間モデルを拡張します。

ABSTRACT

In recent years, Transformers have become the de-facto architecture for long-term sequence forecasting (LTSF), but faces challenges such as quadratic complexity and permutation invariant bias. A recent model, Mamba, based on selective state space models (SSMs), has emerged as a competitive alternative to Transformer, offering comparable performance with higher throughput and linear complexity related to sequence length. In this study, we analyze the limitations of current Mamba in LTSF and propose four targeted improvements, leading to MambaTS. We first introduce variable scan along time to arrange the historical information of all the variables together. We suggest that causal convolution in Mamba is not necessary for LTSF and propose the Temporal Mamba Block (TMB). We further incorporate a dropout mechanism for selective parameters of TMB to mitigate model overfitting. Moreover, we tackle the issue of variable scan order sensitivity by introducing variable permutation training. We further propose variable-aware scan along time to dynamically discover variable relationships during training and decode the optimal variable scan order by solving the shortest path visiting all nodes problem during inference. Extensive experiments conducted on eight public datasets demonstrate that MambaTS achieves new state-of-the-art performance.

研究の動機と目的

• Transformerを超える、効率的でスケーラブルなモデルを用いた改良された長期多変量時系列予測を動機づける。
• LTSFにおけるMambaの限界を調査し、グローバルおよび変数依存関係を改善するターゲットを絞った拡張を開発する。
• 最先端の成果を達成するための一連の革新（VST、TMB、選択パラメータのドロップアウト、VPT、VAST）を提案する。
• 8つの公開LTSFデータセットに対して、スケーラビリティと競争力のある性能を示す。

提案手法

• Variable Scan along Time (VST)を採用し、同一時刻にある異なる変数のトークンを交互に混合して、グローバルな回顧的なシーケンスを形成する。
• SSMの前の局所畳み込みを取り除くことにより、Mambaの因果畳み込みをTemporal Mamba Block (TMB)に置換する。
• 過学習を抑制するために、TMB内の選択的パラメータにドロップアウトを導入する。
• 未知の変数順序に対する感度を低減し、局所的相互作用能力を高めるために、Variable Permutation Training (VPT)を適用する。
• 推論時に変数関係を推定し、非対称巡回セールスマン問題（ATSP）を模擬アニーリング解法で解くことで最適な変数スキャン順序を推定する、Variable-Aware Scan along Time (VAST)を開発する。
• トレーニング中の安定性を保つために、チャネル毎のデコーダーヘッドを維持し、RevINに着想を得たインスタンス正規化を使用する。

実験結果

リサーチクエスチョン

• RQ1 Mambaベースのアーキテクチャは、二次的な計算量を用いずに多変量時系列の長期依存を効率的にモデル化するよう適応できるか？
• RQ2 変数順序の感度と局所的文脈相互作用がLTSFにおいてMambaを制限するのか、置換と可変対応戦略でこれらの問題を緩和できるか？
• RQ3 データ駆動型の推論時最適変数スキャン順が、固定またはランダムにシャッフルされた順序よりもLTSFの性能を改善できるか？
• RQ4 LTSFにおける temporal blocksから因果畳み込みを削除した場合の影響は何か、そして選択的Mambaブロックでドロップアウトは過学習を抑制するのか？
• RQ5 提案された構成要素は、さまざまなLTSFデータセットで最先端の結果を生み出すようにどのように相互作用するのか？

主な発見

• MambaTSは、8つの公開データセットのほとんどで長期多変量予測タスクにおいて新しい最先端の成果を達成する。
• VSTは、すべての変数の履歴を集約することにより、グローバルな回顧的表現を可能にする。
• 因果畳み込みを用いないTemporal Mamba Block (TMB)は、時系列モデリングの効率を向上させ、ドロップアウトを併用すると過学習を抑制する。
• Variable Permutation Training (VPT)とVariable-Aware Scan along Time (VAST)は、変数順序への感度を大幅に緩和し、局所的な相互作用能力を向上させる。
• VASTは学習済みのコスト行列を用いて模擬アニーリングATSPソルバーを誘導し、推論時に効果的なスキャン順序を生み出す。
• 全体として、MambaTSはシーケンス長に対して線形の計算量を達成し、Transformerベースおよび他のベースラインと比較して強力な経験的性能を示す。