[論文レビュー] PGN: The RNN's New Successor is Effective for Long-Range Time Series Forecasting

Yanyan Jia, Youfang Lin+4 more|arXiv (Cornell University)|Sep 26, 2024

Medical Coding and Health Information被引用数 6

ひとこと要約

PGNはRNNの後継としてParallel Gated Networkを導入し、長期および短期情報を捉える2つの分岐を持つTemporal PGN (TPGN)を提案。効率的な長期時系列予測を実現し、5つのベンチマークでSOTAを達成。

ABSTRACT

Due to the recurrent structure of RNN, the long information propagation path poses limitations in capturing long-term dependencies, gradient explosion/vanishing issues, and inefficient sequential execution. Based on this, we propose a novel paradigm called Parallel Gated Network (PGN) as the new successor to RNN. PGN directly captures information from previous time steps through the designed Historical Information Extraction (HIE) layer and leverages gated mechanisms to select and fuse it with the current time step information. This reduces the information propagation path to $\mathcal{O}(1)$, effectively addressing the limitations of RNN. To enhance PGN's performance in long-range time series forecasting tasks, we propose a novel temporal modeling framework called Temporal PGN (TPGN). TPGN incorporates two branches to comprehensively capture the semantic information of time series. One branch utilizes PGN to capture long-term periodic patterns while preserving their local characteristics. The other branch employs patches to capture short-term information and aggregate the global representation of the series. TPGN achieves a theoretical complexity of $\mathcal{O}(\sqrt{L})$, ensuring efficiency in its operations. Experimental results on five benchmark datasets demonstrate the state-of-the-art (SOTA) performance and high efficiency of TPGN, further confirming the effectiveness of PGN as the new successor to RNN in long-range time series forecasting. The code is available in this repository: \url{https://github.com/Water2sea/TPGN}.

研究の動機と目的

• 情報伝播と勾配の問題のため、従来のRNNを超える長距離時系列予測の必要性を動機づける。
• History Information Extractionを備えたRNNの並列後継としてPGNを導入し、伝播経路をO(1)に削減する。
• 長期的な周期性と短期情報を2D表現で共同モデリングする2分岐のTemporal PGN（TPGN）を開発。
• 5つの実世界データセットで最先端の予測精度と計算効率を実証。

提案手法

• 現在情報と過去情報を統合するために、History Information Extraction（HIE）層と単一の並列ゲートを備えたParallel Gated Network（PGN）を提案。
• Out = G ⊙ H + (1−G) ⊙ tanh(Wt [X, H] + bt) を導出、H = HIE(Padding(X)) かつ G, H は学習されるゲートと表現。
• 1D時系列を構造化された形に変換し、時間方向に沿って長期情報を抽出するためにPGNを適用。
• 2分岐のTemporal PGN（TPGN）を導入: 行ごとにPGNを適用して列方向の周期特性を保持する長期分岐と、パッチベースの集約を用いてグローバルな短期情報を捉える短期分岐。
• 両分岐の出力を結合し、線形層を通して未来の系列を得る。
• 計算量解析を提供: 理論上PGNは並列可能な演算によりO(L)、二分岐設計のためTPGNはO(√L)。

実験結果

リサーチクエスチョン

• RQ1 PGNは情報伝播経路をO(1)に削減しつつ長期依存関係を維持することでRNNを効果的に置換できるか。
• RQ2 1D時系列データをどのように2Dへ変換して長期的な周期パターンと短期的な変化をよりよく捉えるか。
• RQ3 2分岐のTemporal PGNフレームワーク（長期PGNベースと短期パッチベース）は多様なデータセットにおいて長距離予測の性能と効率を向上させるか。

主な発見

• TPGNは長距離予測で実世界データセット5件で最先端の性能を達成。
• TPGNは長距離タスクで従来の最良手法より平均MSEを12.35%改善、MAEを7.25%改善。
• PGNは情報伝播経路をO(1)に削減し、RNNと同じ理論的O(L)複雑さを持つ並列計算を実現するが、実用的にはより高い効率。
• TPGNは2分岐アーキテクチャにより長期情報と短期情報を効率的に処理するため、好ましいO(√L)の複雑さを維持。
• ベースラインとタスクを超えて、予測長が伸びるにつれてTPGNは堅牢な改善を示し、競合手法より性能低下が早い。
• アブレーション研究は長期PGNベースと短期パッチベースの両方の分岐の必須性を検証。