[論文レビュー] RWKV-TS: Beyond Traditional Recurrent Neural Network for Time Series Tasks

Haowen Hou, Fuxun Yu|arXiv (Cornell University)|Jan 17, 2024

Time Series Analysis and Forecasting被引用数 9

ひとこと要約

RWKV-TS は O(L) 時間とメモリで動作する効率的な RNN ベースの時系列モデルで、SOTA の Transformer/CNN に対し競合する性能を達成する一方でレイテンシとメモリ使用を低減します。

ABSTRACT

Traditional Recurrent Neural Network (RNN) architectures, such as LSTM and GRU, have historically held prominence in time series tasks. However, they have recently seen a decline in their dominant position across various time series tasks. As a result, recent advancements in time series forecasting have seen a notable shift away from RNNs towards alternative architectures such as Transformers, MLPs, and CNNs. To go beyond the limitations of traditional RNNs, we design an efficient RNN-based model for time series tasks, named RWKV-TS, with three distinctive features: (i) A novel RNN architecture characterized by $O(L)$ time complexity and memory usage. (ii) An enhanced ability to capture long-term sequence information compared to traditional RNNs. (iii) High computational efficiency coupled with the capacity to scale up effectively. Through extensive experimentation, our proposed RWKV-TS model demonstrates competitive performance when compared to state-of-the-art Transformer-based or CNN-based models. Notably, RWKV-TS exhibits not only comparable performance but also demonstrates reduced latency and memory utilization. The success of RWKV-TS encourages further exploration and innovation in leveraging RNN-based approaches within the domain of Time Series. The combination of competitive performance, low latency, and efficient memory usage positions RWKV-TS as a promising avenue for future research in time series tasks. Code is available at:\href{https://github.com/howard-hou/RWKV-TS}{ https://github.com/howard-hou/RWKV-TS}

研究の動機と目的

• Transformer が優勢であるにもかかわらず、時系列タスクにおける RNN の役割を再考する。
• 時系列データのための線形時間/空間計算量を持つ RNN ベースのアーキテクチャ（RWKV-TS）を提案する。
• 予測、補完、異常検知、分類、少数ショット学習タスクを横断して RWKV-TS を経験的に検証する。
• RWKV-TS が SOTA モデルと比較して遅延とメモリ使用を削減しつつ、競争力のある精度を達成できることを示す。

提案手法

• RWKV-TS の入力トークンへ多変量系列を変換するために、インスタンス正規化とパッチ処理を導入する。
• 線形時間のアテンション様計算を実現するマルチヘッド WKV 演算子を備えた、時間混合とチャネル混合のサブブロックを持つ RWKV バックボーンを使用する。
• 並列（プライマリ）モードと再帰モードの両方を提供し、その形式的等価性を示して効率的な訓練と推論を可能にする。
• SiLUを用いた出力ゲーティングとレイヤーノーマライゼーションを適用し、平坦化プロジェクションの後にMSE損失を用いて予測を行う。
• O(L) 時間/空間計算量とエンコード専用アーキテクチャを分析し、従来の RNN に特有の誤差蓄積を回避する。

実験結果

リサーチクエスチョン

• RQ1 Can RWKV-TS match or surpass state-of-the-art Transformer- or CNN-based models on diverse time series tasks?
• RQ2 Does the linear-time RWKV-TS architecture offer practical advantages in training/inference latency and memory usage without sacrificing accuracy?
• RQ3 How does RWKV-TS perform across long-term forecasting, short-term forecasting, imputation, anomaly detection, classification, and few-shot settings?
• RQ4 Can RNN-based approaches remain competitive in time series with long-range dependencies when designed with time-mixing and channel-mixing mechanisms?

主な発見

• RWKV-TS は複数の時系列タスクで SOTA の Transformer- および CNN ベースのモデルと競合する性能を達成する。
• 長期予測では、RWKV-TS は TimesNet に対して平均 MSE が 12.58% 減少、MAE が 4.38% 減少を示す。
• 効率性分析では、RWKV-TS-768（24M パラメータ）は、バッチあたりの訓練時間 0.067s および推論時間 0.018s を示し、同等または少ないパラメータ数でいくつかのベースラインを速度で上回る。
• RWKV-TS は短期予測（M4）および少数ショット予測で強い成果を示し、著名なベースラインをしばしば上回り、TimesNet および N-BEATS に対して競争力のある差を示す。
• 時系列分類では、RWKV-TS が高い精度を達成し、UEA データセットで平均 73.10% を記録、TimesNet に近く、ほとんどのベースラインを上回る。
• RWKV-TS は標準データセット全般で平均 F1 スコアが SOTA レベル近くと良好な異常検知性能を維持する。）