[논문 리뷰] PGN: The RNN's New Successor is Effective for Long-Range Time Series Forecasting

Yanyan Jia, Youfang Lin외 4명|arXiv (Cornell University)|2024. 09. 26.

Medical Coding and Health Information인용 수 6

한 줄 요약

PGN은 RNN의 차세대인 Parallel Gated Network를 소개하고, 두 가지 가지로 긴 기간과 짧은 기간 정보를 포착하는 Temporal PGN (TPGN)을 도입하여 효율적인 장기 시계열 예측을 수행하며, 다섯 벤치마크에서 SOTA를 달성합니다.

ABSTRACT

Due to the recurrent structure of RNN, the long information propagation path poses limitations in capturing long-term dependencies, gradient explosion/vanishing issues, and inefficient sequential execution. Based on this, we propose a novel paradigm called Parallel Gated Network (PGN) as the new successor to RNN. PGN directly captures information from previous time steps through the designed Historical Information Extraction (HIE) layer and leverages gated mechanisms to select and fuse it with the current time step information. This reduces the information propagation path to $\mathcal{O}(1)$, effectively addressing the limitations of RNN. To enhance PGN's performance in long-range time series forecasting tasks, we propose a novel temporal modeling framework called Temporal PGN (TPGN). TPGN incorporates two branches to comprehensively capture the semantic information of time series. One branch utilizes PGN to capture long-term periodic patterns while preserving their local characteristics. The other branch employs patches to capture short-term information and aggregate the global representation of the series. TPGN achieves a theoretical complexity of $\mathcal{O}(\sqrt{L})$, ensuring efficiency in its operations. Experimental results on five benchmark datasets demonstrate the state-of-the-art (SOTA) performance and high efficiency of TPGN, further confirming the effectiveness of PGN as the new successor to RNN in long-range time series forecasting. The code is available in this repository: \url{https://github.com/Water2sea/TPGN}.

연구 동기 및 목표

• 정보 전달 및 그래디언트 문제로 인해 전통적 RNN을 넘어서는 더 나은 장기 시계열 예측의 필요성에 대한 동기 부여.
• propagating paths를 O(1)로 줄이기 위한 History Information Extraction를 갖춘 RNN의 병렬 차세대인 PGN의 도입.
• 2D 표현에서 장기 주기 정보와 단기 정보를 함께 모델링하기 위한 두 가지 가지의 Temporal PGN (TPGN) 개발.
• 다섯 개의 실제 데이터셋에서 최첨단 예측 정확도와 계산 효율성 입증.

제안 방법

• History Information Extraction(HIE) 층과 단일 병렬 게이트를 이용하여 현재 정보와 과거 정보를 융합하는 Parallel Gated Network(PGN) 제안.
• H = HIE(Padding(X))이고 G, H는 학습 가능한 게이트 및 표현으로서 Out = G ⊙ H + (1−G) ⊙ tanh(Wt [X, H] + bt)로 도출.
• 1D 시계열 데이터를 구조화된 형태로 변환하고 PGN을 적용하여 시간 차원을 따라 장기 정보를 추출.
• 두 가지 가지가 있는 Temporal PGN(TPGN) 도입: 긴 기간 가지는 행(row) 전체에 걸쳐 PGN을 적용하여 열 단위의 주기 특성을 유지하고, 짧은 기간 가지는 패치 기반 집계를 사용하여 전역적 단기 정보를 포착.
• 두 가지 가지의 출력을 연결하고 선형 계층을 통해 미래 시퀀스로 매핑하여 예측.
• 복잡도 분석 제공: PGN은 이론적으로 O(L)이며 병렬 실행이 가능하고, TPGN은 두 가지 가지 설계로 인해 O(√L)이다.

실험 결과

연구 질문

• RQ1 PGN이 정보 전파 경로를 O(1)로 줄이면서 장기 의존성을 보존하여 RNN을 효과적으로 대체할 수 있는가?
• RQ2 1D 시계열 데이터를 2D로 변환하여 장기 주기 패턴과 단기 변화을 더 잘 포착할 수 있는가?
• RQ3 두 가지 가지의 Temporal PGN 프레임워크(장기 PGN 기반과 단기 패치 기반)가 다양한 데이터셋에서 장기 예측 성능과 효율성을 향상시키는가?

주요 결과

• TPGN이 다섯 개 실제 데이터셋에서 장기 예측에 대해 최첨단 성능을 달성합니다.
• TPGN은 기존 최적 방법 대비 평균 MSE 12.35% 개선과 장기 과제에서 MAE 7.25% 개선을 제공합니다.
• PGN은 정보 전파 경로를 O(1)로 줄이고 RNN과 동일한 이론적 O(L) 복잡성으로 병렬 계산을 가능하게 하지만 실용적 효율은 더 높습니다.
• 두 가지 가지 아키텍처로 인해 긴 기간 정보와 짧은 기간 정보를 효율적으로 처리하는 O(√L) 복잡성을 유지합니다.
• 기준선 및 작업 전반에서 예측 길이가 늘어날수록 TPGN의 개선이 견고하고 다른 방법보다 성능 저하가 더 느립니다.
• Ab(Test) 연구는 장기 PGN 기반의 가지와 단기 패치 기반 가지의 필요성을 입증합니다.