[논문 리뷰] RWKV-TS: Beyond Traditional Recurrent Neural Network for Time Series Tasks

Haowen Hou, Fuxun Yu|arXiv (Cornell University)|2024. 01. 17.

Time Series Analysis and Forecasting인용 수 9

한 줄 요약

RWKV-TS는 O(L) 시간과 메모리를 갖는 효율적인 RNN 기반 시계열 모델로, 지연 시간과 메모리 사용을 줄이면서 SOTA 트랜스포머/ CNN과 경쟁력 있는 성능을 달성합니다.

ABSTRACT

Traditional Recurrent Neural Network (RNN) architectures, such as LSTM and GRU, have historically held prominence in time series tasks. However, they have recently seen a decline in their dominant position across various time series tasks. As a result, recent advancements in time series forecasting have seen a notable shift away from RNNs towards alternative architectures such as Transformers, MLPs, and CNNs. To go beyond the limitations of traditional RNNs, we design an efficient RNN-based model for time series tasks, named RWKV-TS, with three distinctive features: (i) A novel RNN architecture characterized by $O(L)$ time complexity and memory usage. (ii) An enhanced ability to capture long-term sequence information compared to traditional RNNs. (iii) High computational efficiency coupled with the capacity to scale up effectively. Through extensive experimentation, our proposed RWKV-TS model demonstrates competitive performance when compared to state-of-the-art Transformer-based or CNN-based models. Notably, RWKV-TS exhibits not only comparable performance but also demonstrates reduced latency and memory utilization. The success of RWKV-TS encourages further exploration and innovation in leveraging RNN-based approaches within the domain of Time Series. The combination of competitive performance, low latency, and efficient memory usage positions RWKV-TS as a promising avenue for future research in time series tasks. Code is available at:\href{https://github.com/howard-hou/RWKV-TS}{ https://github.com/howard-hou/RWKV-TS}

연구 동기 및 목표

• 트랜스포머의 우세에도 불구하고 시계열 작업에서 RNN의 역할을 재고한다.
• 시계열 데이터를 위한 선형 시간/공간 복잡도를 갖는 RNN 기반 아키텍처(RWKV-TS)를 제안한다.
• 예측, 보간, 이상 탐지, 분류 및 소샷 학습 작업 전반에 걸쳐 RWKV-TS를 경험적으로 검증한다.
• RWKV-TS가 SOTA 모델에 비해 지연 시간과 메모리 사용량을 줄이면서도 경쟁력 있는 정확도를 달성할 수 있음을 입증한다.

제안 방법

• RWKV-TS용 입력 토큰으로 다변량 시계열을 변환하기 위해 인스턴스 노멀라이제이션과 패칭을 도입한다.
• 선형 시간 주의 연산과 같은 계산을 위한 멀티-헤드 WKV 연산자를 특징으로 하는 시간 혼합(time-mixing) 및 채널 혼합(channel-mixing) 서브블록이 있는 RWKV 백본을 사용한다.
• 병렬(주 모드)과 순환 모드를 모두 제공하고, 이들의 형식적 등가성을 보여주며 효율적인 학습과 추론을 가능하게 한다.
• SiLU와 층 정규화를 활용한 출력 게이팅을 적용하고, 예측을 위한 플래튼(projection)을 한 뒤 MSE 손실을 사용한다.
• O(L) 시간/공간 복잡도와 인코드-전용 아키텍처를 분석하여 전통적 RNN에서 흔히 나타나는 오류 누적을 피한다.

실험 결과

연구 질문

• RQ1 RWKV-TS가 다양한 시계열 작업에서 SOTA 트랜스포머 또는 CNN 기반 모델에 필적하거나 이를 능가할 수 있을까?
• RQ2 선형 시간 RWKV-TS 아키텍처가 정확도를 희생하지 않으면서 학습/추론 지연 시간과 메모리 사용에 실용적 이점을 제공하는가?
• RQ3 장기 예측, 단기 예측, 보간, 이상 탐지, 분류 및 소샷 설정에서 RWKV-TS의 성능은 어떠한가?
• RQ4 시간 혼합 및 채널 혼합 메커니즘으로 설계된 RNN 기반 접근법이 긴 범위 의존성을 갖는 시계열에서도 경쟁력을 유지할 수 있는가?

주요 결과

• RWKV-TS는 여러 시계열 작업에서 SOTA 트랜스포머- 및 CNN 기반 모델과 경쟁력 있는 성능을 달성한다.
• 장기 예측에서 RWKV-TS는 TimesNet 대비 평균 MSE 12.58% 감소 및 MAE 4.38% 감소를 보인다.
• 효율성 분석에서 RWKV-TS-768(24M 파라미터)은 배치당 학습 시간 0.067s, 추론 시간 0.018s를 보여 유사하거나 더 적은 파라미터로 다수의 베이스라인보다 속도가 우수하다.
• RWKV-TS는 단기 예측(M4) 및 소샷 예측에서 강한 결과를 보여주며, 주요 베이스라인을 자주 능가하고 TimesNet 및 N-BEATS에 대해서도 경쟁력 있는 차이를 보인다.
• 시계열 분류에서 RWKV-TS는 UEA 데이터셋에서 평균 73.10%의 높은 정확도를 달성하여 TimesNet에 근접하고 대부분의 베이스라인을 능가한다.
• RWKV-TS는 표준 데이터셋에서 평균 F1 점수가 SOTA 수준에 근접하는 양호한 이상 탐지 성능을 유지한다.