[論文レビュー] Effectively Modeling Time Series with Simple Discrete State Spaces

Michael Zhang, Khaled K. Saab+4 more|arXiv (Cornell University)|Mar 16, 2023

Time Series Analysis and Forecasting被引用数 13

ひとこと要約

SpaceTimeはコンパニオン行列を用いた状態空間モデルを導入し、時系列の表現力・長期予測・効率性を向上させ、いくつかのベンチマークで最先端の成果を達成します。

ABSTRACT

Time series modeling is a well-established problem, which often requires that methods (1) expressively represent complicated dependencies, (2) forecast long horizons, and (3) efficiently train over long sequences. State-space models (SSMs) are classical models for time series, and prior works combine SSMs with deep learning layers for efficient sequence modeling. However, we find fundamental limitations with these prior approaches, proving their SSM representations cannot express autoregressive time series processes. We thus introduce SpaceTime, a new state-space time series architecture that improves all three criteria. For expressivity, we propose a new SSM parameterization based on the companion matrix -- a canonical representation for discrete-time processes -- which enables SpaceTime's SSM layers to learn desirable autoregressive processes. For long horizon forecasting, we introduce a "closed-loop" variation of the companion SSM, which enables SpaceTime to predict many future time-steps by generating its own layer-wise inputs. For efficient training and inference, we introduce an algorithm that reduces the memory and compute of a forward pass with the companion matrix. With sequence length $\ell$ and state-space size $d$, we go from $ ilde{O}(d \ell)$ naïvely to $ ilde{O}(d + \ell)$. In experiments, our contributions lead to state-of-the-art results on extensive and diverse benchmarks, with best or second-best AUROC on 6 / 7 ECG and speech time series classification, and best MSE on 14 / 16 Informer forecasting tasks. Furthermore, we find SpaceTime (1) fits AR($p$) processes that prior deep SSMs fail on, (2) forecasts notably more accurately on longer horizons than prior state-of-the-art, and (3) speeds up training on real-world ETTh1 data by 73% and 80% relative wall-clock time over Transformers and LSTMs.

研究の動機と目的

• 時系列モデリングの課題：表現力、長期予測、および効率的な学習/推論を動機づける。
• 自己回帰プロセスを捉えるためのコンパニオン行列離散時間状態空間モデルの定式化を提案する。
• データ前処理が可能で、複数のSSMを並列に学習するマルチ-SSM SpaceTime層を開発する。
• 1つのSSM層内で長期予測を可能にするクローズドループ予測機構を導入する。
• コンパニオン行列の構造を利用したサブ二次計算量のフォワードパスのアルゴリズムを提供する。

提案手法

• 状態遷移行列Aをコンパニオン行列としてパラメータ化し、ARMA様プロセスを表現する。
• SpaceTime層ごとに複数のSSMを表現し、表現力を拡張し並列計算を可能にする。
• 1-D畳み込みとFFTベースの手法を用いてSSMsを計算し、効率的な学習と推論を実現する。
• 再帰的ステップを伴わず長期予測を可能にするため、将来の入力を予測することを学習するクローズドループベースを導入する。
• データ前処理のアイデア（差分化、平滑化）を、コンパニオンSSMの重み初期化を通じてSpaceTimeに直接組み込む。

実験結果

リサーチクエスチョン

• RQ1 コンパニオン行列SSMはARIMAや指数平滑化のような基本的な時系列プロセスを表現できるか？
• RQ2 従来のSSMやトランスフォーマーベースのモデルと比較して、SpaceTimeは特に長期的な予測において予測精度を向上させるか？
• RQ3 SpaceTimeアーキテクチャは長いシーケンスの学習にも計算的に十分効率的か？
• RQ4 クローズドループSSMアプローチは多段予測の安定性と精度にどう影響するか？
• RQ5 SpaceTime層は非定常データに対して差分化や平滑化といった有用な組み込み前処理効果を提供するか？

主な発見

• SpaceTimeはコンパニオンSSMを介してARIMA、指数平滑化、制御可能な線形システムを表現できる。
• SpaceTimeはECG、音声、予測ベンチマーク全般で最先端またはほぼ最先端の結果を達成し、複数のタスクで最良または2位のAUROCを含む。
• SpaceTimeは長期的な予測で優れた性能を示し、未知の予測区間にも良く転移する。
• SpaceTimeは実データでの学習を大幅に高速化し、TransformerやLSTMと比較して実行時間を大幅に短縮する。
• FFTベースの畳み込みとスペクトル技術を用いた効率的なサブ二次推論アルゴリズムにより、1層あたりのフォワードパスコストをO(d ℓ)からO(d + ℓ)へ削減する。