[論文レビュー] Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting

Aobo Liang, Xingguo Jiang+3 more|arXiv (Cornell University)|Apr 24, 2024

Stock Market Forecasting Methods被引用数 11

ひとこと要約

Bi-Mamba4TSは、bidirectional Mambaエンコーダとシリーズ関係認識（SRA）デシーダを用いて、長期多変量時系列予測のためにチャネル独立とチャネル混合のトークン化を自動選択し、パッチ適用で局所情報を豊かにします。

ABSTRACT

Long-term time series forecasting (LTSF) provides longer insights into future trends and patterns. Over the past few years, deep learning models especially Transformers have achieved advanced performance in LTSF tasks. However, LTSF faces inherent challenges such as long-term dependencies capturing and sparse semantic characteristics. Recently, a new state space model (SSM) named Mamba is proposed. With the selective capability on input data and the hardware-aware parallel computing algorithm, Mamba has shown great potential in balancing predicting performance and computational efficiency compared to Transformers. To enhance Mamba's ability to preserve historical information in a longer range, we design a novel Mamba+ block by adding a forget gate inside Mamba to selectively combine the new features with the historical features in a complementary manner. Furthermore, we apply Mamba+ both forward and backward and propose Bi-Mamba+, aiming to promote the model's ability to capture interactions among time series elements. Additionally, multivariate time series data in different scenarios may exhibit varying emphasis on intra- or inter-series dependencies. Therefore, we propose a series-relation-aware decider that controls the utilization of channel-independent or channel-mixing tokenization strategy for specific datasets. Extensive experiments on 8 real-world datasets show that our model achieves more accurate predictions compared with state-of-the-art methods.

研究の動機と目的

• 長期の多変量時系列予測（LTSF）を動機づけ、Transformerの効率性と精度のトレードオフに対処する。
• Mambaを用いて線形時間計算量と長距離依存性モデリングを実現するため、State Space Models (SSM) を活用する。
• Pearson相関に基づくSeries-Relation-Aware (SRA)デシーダを介してトークン化戦略の自動選択を行う。
• パッチングによってより細かな進化パターンを捉え、時系列表現を豊かにする。
• 最先端のベースラインと比較して、7つの実世界データセット全体で優れた予測性能を示す。

提案手法

• 入力時系列をパッチに分割してパッチごとのトークンを得る。
• Pearson相関に基づいて、チャネル独立とチャネル混合のトークン化の自動選択を行うSeries-Relation-Aware (SRA)デシーダを使用する。
• 前向きおよび後向きブランチを持つ双方向のMambaエンコーダを適用し、系列内および系列間の依存関係をモデル化する。
• RevINを用いて非定常入力を正規化し、出力を元に戻す。
• MSE損失で訓練し、複数のエンコーダ層にわたって早期停止を伴うADAM最適化を使用する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動のデシーダは、異なるMTSデータセットに適したチャネル独立とチャネル混合のトークン化を効果的に選択できるだろうか。
• RQ2 パッチベースのトークン化と双方向Mambaの組み合わせは、Transformerベースおよび他のSSMベースモデルより長期予測精度を向上させるか。
• RQ3 MTSデータにおける系列内依存と系列間依存のモデリングにおける双方向設計の影響はどのようか。
• RQ4 Bi-Mamba4TSは多様な実世界データセットに対するハイパーパラメータの変動にどれだけ頑健か。

主な発見

• Bi-Mamba4TSは、強力なベースラインと比較して、複数のホライズンで7つの実世界データセット全体で優れた予測精度を達成する。
• 本モデルはiTransformerに対してMSE/MAEを平均で4.92%および2.16%削減する。
• Weather、Traffic、Electricityでチャネル混合を、4つのETTデータセットでチャネル独立を用いるとデータセット依存の利得を示す。
• アブレーション研究は、SRAデシーダと双方向Mambaが性能向上に有意に寄与することを示す。
• SRAデシーダまたは後向きのMambaブランチを削除すると性能が低下し、戦略選択と双方向性の重要性を裏づける。