[論文レビュー] SegRNN: Segment Recurrent Neural Network for Long-Term Time Series Forecasting

Shengsheng Lin, Weiwei Lin+4 more|arXiv (Cornell University)|Aug 22, 2023

Stock Market Forecasting Methods被引用数 42

ひとこと要約

SegRNNはセグメント別の反復と平行多ステップ予測を導入し、RNNの再帰的反復を削減することで、長期の時系列予測において最先端の精度を達成しつつ、速度とメモリ効率を大幅に向上させる。

ABSTRACT

RNN-based methods have faced challenges in the Long-term Time Series Forecasting (LTSF) domain when dealing with excessively long look-back windows and forecast horizons. Consequently, the dominance in this domain has shifted towards Transformer, MLP, and CNN approaches. The substantial number of recurrent iterations are the fundamental reasons behind the limitations of RNNs in LTSF. To address these issues, we propose two novel strategies to reduce the number of iterations in RNNs for LTSF tasks: Segment-wise Iterations and Parallel Multi-step Forecasting (PMF). RNNs that combine these strategies, namely SegRNN, significantly reduce the required recurrent iterations for LTSF, resulting in notable improvements in forecast accuracy and inference speed. Extensive experiments demonstrate that SegRNN not only outperforms SOTA Transformer-based models but also reduces runtime and memory usage by more than 78%. These achievements provide strong evidence that RNNs continue to excel in LTSF tasks and encourage further exploration of this domain with more RNN-based approaches. The source code is coming soon.

研究の動機と目的

• Transformerが主導権を握る中でも、長期時系列予測（LTSF）に対してRNNの利用を動機づける。
• 精度を犠牲にせず、RNNの再帰的反復を劇的に減らす戦略を開発する。
• 推論速度と性能を向上させるためにセグメント単位の反復とParallel Multi-step Forecasting (PMF) を導入する。
• 標準的なLTSFベンチマークで経験的な改善を示し、最先端モデルと比較する。

提案手法

• 入力シーケンスをセグメントに分割し、GRU処理前にセグメントを隠し次元へ射影する（セグメント単位の反復）。
• セグメント間の時間的特徴を捉えるためにGRUを用いてセグメントをエンコードする。
• 共有されたGRU状態を用いて複数の未来ステップを並列生成するために、再帰的マルチステップデコードをParallel Multi-step Forecasting (PMF) に置き換える。
• PMF中にセグメント順序とチャネル情報を保持するために位置埋め込み（相対位置とチャネル位置）を使用する。
• チャネル識別子を用いたチャネル独立（CI）戦略を適用し、マルチ変量データを活用しつつチャネルごとに一変量系列を予測する。
• 分布シフトを緩和するためにMAE損失と単純なインスタンス正規化で最適化する。

実験結果

リサーチクエスチョン

• RQ1 セグメント単位の反復は、精度を犠牲にせずにLTSFにおけるRNNの再帰的計算負担を軽減できるのだろうか？
• RQ2 Parallel Multi-step Forecasting (PMF) は長期の予測において、従来のRMFより精度と推論速度の点で優れているのか？
• RQ3 セグメント長とRNNの種類が、さまざまなLTSFデータセットにおけるSegRNNの性能にどう影響するか？
• RQ4 SegRNNにおけるチャネル独立性とチャネル位置エンコーディングが多変量予測に与える影響は何か？

主な発見

• SegRNNは7つのデータセットと複数のホライズンにわたり、56指標中50で上位2位を獲得し、45の1位ランキングを達成。
• 本手法は主要ベンチマークで、最先端のTransformerベースモデルと比較して学習時間とメモリ使用量を78%以上削減するなど、顕著な効率向上をもたらす。
• セグメント長の選択は、より長いセグメント（反復回数が少ないほど）で予測誤差を一般に低減するが、長すぎるセグメントは（MLPに近い）性能を損なう可能性がある。
• PMFはRMFに対して一貫して予測精度を向上させ、長期ホライズンでより大きな効果を示し、より大きなHに対してハードウェア利用を改善する。
• SegRNNはベースラインRNNに対してMAE/MSEの改善を大きくもたらし（例：GRU/DeepARに対する75-80%のMAE/MSE改善）、単一のGRUレイヤーにもかかわらず大規模チャネルデータセットでも競争力を維持する。）