[論文レビュー] TimeMachine: A Time Series is Worth 4 Mambas for Long-term Forecasting

Md Atik Ahamed, Qiang Cheng|arXiv (Cornell University)|Mar 14, 2024

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

TimeMachine は、quadruple Mamba state-space アーキテクチャを使用して長期依存性を捉え、線形スケーラビリティと低メモリで多変量時系列を処理し、長期予測の精度を向上させるためにチャネル混合とチャネル独立性の処理を統一します。

ABSTRACT

Long-term time-series forecasting remains challenging due to the difficulty in capturing long-term dependencies, achieving linear scalability, and maintaining computational efficiency. We introduce TimeMachine, an innovative model that leverages Mamba, a state-space model, to capture long-term dependencies in multivariate time series data while maintaining linear scalability and small memory footprints. TimeMachine exploits the unique properties of time series data to produce salient contextual cues at multi-scales and leverage an innovative integrated quadruple-Mamba architecture to unify the handling of channel-mixing and channel-independence situations, thus enabling effective selection of contents for prediction against global and local contexts at different scales. Experimentally, TimeMachine achieves superior performance in prediction accuracy, scalability, and memory efficiency, as extensively validated using benchmark datasets. Code availability: https://github.com/Atik-Ahamed/TimeMachine

研究の動機と目的

• 拡張性と効率性の制約の中で、マルチ変量時系列（LTSF）における効果的な長期予測の必要性を動機づける。
• 長距離依存性と文脈認識予測を捉えるための純粋な SSM ベースのアーキテクチャを提案する。
• MTS データにおけるチャネル混合とチャネル独立性の両方を処理する統一フレームワークを開発する。
• マルチスケール文脈的手がかりとダウンサンプリングを活用して長距離依存のモデリングを強化する。

提案手法

• TimeMachine を、E1, E2 の二つの埋め込みレベルに配置された四つの Mamba state-space モジュールで構成し、レベルあたり二つの Mamba ブロックを用いて導入する。
• 処理前に RevIN または Z-score 正規化で入力を正規化する。
• 入力を適切にリシェイプして、モードを切り替える転置ブランチを使用することで、チャネル混合とチャネル独立性の両方をサポートする。
• 二段階の埋め込み表現（E1, E2）を用いて Mamba 処理用の固定長トークンを生成し、スケーラブルでスケール認識型の文脈抽出を可能にする。
• 各 Mamba ブランチは、入力トークンに条件付けられた線形射影（B、C、Delta）を計算し、続いて1D 因果畳み込み、SiLU 活性化、そして構造化された SSM を適用する。ブランチ間の出力は加算的および乗法的相互作用で結合され、残差接続付きの2段階出力射影 P1 および P2 を通して伝達される。
• 最終予測 y は、外部と内部の Mamba 出力をスキップ接続で連結した後、P2 によって生成される。

実験結果

リサーチクエスチョン

• RQ1 純粋な State-Space Model (SSM) ベースのアーキテクチャは、線形スケーラビリティと小さなメモリフットプリントを持つ多変量時系列で長距離依存性を捉えることができるか？
• RQ2 チャネル混合とチャネル独立性を一つのアーキテクチャに統一して、多様な MTS データセットに対する予測精度を最大化するには？
• RQ3 マルチスケールのダウンサンプリングされた文脈手がかりは長期予測性能を改善するか？
• RQ4 異なるチャネル数を持つデータセット間で、アーキテクチャの選択（MLP のサイズ、ドロップアウト、残差接続）が性能と安定性に与える影響は？

主な発見

• TimeMachine は、複数の予測ホライズンにわたる7つの標準 LTSF ベンチマークで、強力なベースラインと比較して優れた予測性能を達成する。
• 本モデルは、スケーラビリティとメモリ効率に優れており、Traffic や Electricity のような大規模チャネルのデータセットで、メモリフットプリントが最先端手法と同等かそれ以上である。
• TimeMachine はマルチスケールの文脈手がかりとチャネル対応処理の恩恵を受け、チャネル混合が使用される場合にはチャネル間相関を効果的に活用し、チャネル独立性設定では局所的文脈を活用する。
• 二段階の埋め込み（E1, E2）と quadruple Mamba ブロックは、データに関する線形パラメータ成長で堅牢な長距離依存性モデリングを可能にする。