[논문 리뷰] SegRNN: Segment Recurrent Neural Network for Long-Term Time Series Forecasting

Shengsheng Lin, Weiwei Lin외 4명|arXiv (Cornell University)|2023. 08. 22.

Stock Market Forecasting Methods인용 수 42

한 줄 요약

SegRNN은 세그먼트 단위의 반복(iterations)과 병렬 다단 예측을 도입하여 RNN의 순환 반복을 줄이고, 긴 시계열 예측에서 최첨단 정확도를 달성하는 동시에 속도와 메모리 효율성을 크게 향상시킵니다.

ABSTRACT

RNN-based methods have faced challenges in the Long-term Time Series Forecasting (LTSF) domain when dealing with excessively long look-back windows and forecast horizons. Consequently, the dominance in this domain has shifted towards Transformer, MLP, and CNN approaches. The substantial number of recurrent iterations are the fundamental reasons behind the limitations of RNNs in LTSF. To address these issues, we propose two novel strategies to reduce the number of iterations in RNNs for LTSF tasks: Segment-wise Iterations and Parallel Multi-step Forecasting (PMF). RNNs that combine these strategies, namely SegRNN, significantly reduce the required recurrent iterations for LTSF, resulting in notable improvements in forecast accuracy and inference speed. Extensive experiments demonstrate that SegRNN not only outperforms SOTA Transformer-based models but also reduces runtime and memory usage by more than 78%. These achievements provide strong evidence that RNNs continue to excel in LTSF tasks and encourage further exploration of this domain with more RNN-based approaches. The source code is coming soon.

연구 동기 및 목표

• Transformer 지배에도 불구하고 LTSF를 위한 RNN 사용의 타당성을 제고한다.
• RNN의 순환 반복을 대폭 줄이면서도 정확도를 희생하지 않는 전략을 개발한다.
• 세그먼트 단위 반복(seg ment-wise iterations)과 Parallel Multi-step Forecasting(PMF)을 도입하여 추론 속도와 성능을 향상시킨다.
• 표준 LTSF 벤치마크에서 경험적 이점을 입증하고 최신 모델과 비교한다.

제안 방법

• 입력 시퀀스를 세그먼트로 분할하고 GRU 처리 전에 세그먼트를 은닉 차원으로 투영합니다(세그먼트 단위 반복).
• 세그먼트를 GRU를 사용해 인코딩하여 세그먼트 간 시간적 특징을 캡처합니다.
• 재귀적 다단 디코딩을 Parallel Multi-step Forecasting(PMF)으로 대체하여 공유 GRU 상태를 사용해 여러 미래 단계를 병렬로 생성합니다.
• PMF 중에 위치 임베딩(상대 위치 및 채널 위치)을 사용하여 세그먼트 순서와 채널 정보를 유지합니다.
• 채널 식별자를 갖춘 채널 독립(CI) 전략을 적용하여 다변량 데이터로부터 활용하면서 채널당 단변량 시계열을 예측합니다.
• 배포: MAE 손실과 간단한 인스턴스 정규화를 사용해 분포 변화(distribution shifts)를 완화합니다.

실험 결과

연구 질문

• RQ1 segment-wise iterations가 LTSF에서 RNN의 순환 계산 부담을 정확도 저하 없이 줄일 수 있는가?
• RQ2 PMF가 긴 수평선에서의 정확도 및 추론 속도 측면에서 전통적인 RMF를 능가하는가?
• RQ3 세그먼트 길이 및 RNN 변종이 다양한 LTSF 데이터셋에서 SegRNN 성능에 어떤 영향을 미치는가?
• RQ4 채널 독립성 및 채널 위치 인코딩이 SegRNN의 다변량 예측에 미치는 영향은 무엇인가?

주요 결과

• SegRNN은 56개 지표 중 상위 2위에 해당하는 결과를 달성하고 7개 데이터셋과 다양한 수평에서 45개의 1위 순위를 차지했다.
• 이 방법은 핵심 벤치마크에서 Transformer 기반 모델 대비 학습 시간과 메모리 사용을 78% 이상 감소시키며 상당한 효율성 이점을 제공한다.
• 세그먼트 길이 선택은 더 긴 세그먼트(반복 횟수 감소)가 일반적으로 예측 오차를 감소시키지만, 너무 긴 세그먼트(MLP에 근접하면) 성능이 악화될 수 있다.
• PMF는 RMF에 비해 예측 정확도를 일관되게 향상시키며 더 긴 수평에서 더 큰 이점을 보이고 대형 H에서 하드웨어 활용이 개선된다.
• SegRNN은 기본 RNN에 대해 MAE/MSE 측면에서 상당한 개선을 제공하며(예: GRU/DeepAR 대비 75-80% MAE/MSE 개선) 단일 GRU 층임에도 대형 채널 데이터셋에서 경쟁력을 유지한다.