[논문 리뷰] A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

Yuqi Nie, Nam Hoai Nguyen외 2명|arXiv (Cornell University)|2022. 11. 27.

Time Series Analysis and Forecasting인용 수 534

한 줄 요약

PatchTST는 긴 시계열 예측과 다변량 시계열의 자기지도 표현 학습을 개선하기 위해 Transformer 모델에서 시계열 패칭과 채널 독립성을 도입한다.

ABSTRACT

We propose an efficient design of Transformer-based models for multivariate time series forecasting and self-supervised representation learning. It is based on two key components: (i) segmentation of time series into subseries-level patches which are served as input tokens to Transformer; (ii) channel-independence where each channel contains a single univariate time series that shares the same embedding and Transformer weights across all the series. Patching design naturally has three-fold benefit: local semantic information is retained in the embedding; computation and memory usage of the attention maps are quadratically reduced given the same look-back window; and the model can attend longer history. Our channel-independent patch time series Transformer (PatchTST) can improve the long-term forecasting accuracy significantly when compared with that of SOTA Transformer-based models. We also apply our model to self-supervised pre-training tasks and attain excellent fine-tuning performance, which outperforms supervised training on large datasets. Transferring of masked pre-trained representation on one dataset to others also produces SOTA forecasting accuracy. Code is available at: https://github.com/yuqinie98/PatchTST.

연구 동기 및 목표

• 다변량 시계열의 Transformer 아키텍처를 사용하여 장기 예측 정확도를 개선하는 것을 동기로 삼는다.
• 패칭을 통해 입력 토큰 수를 줄이고 효율성과 메모리 이점을 탐색한다.
• 시계열 채널 간 가중치 공유 전략으로 채널 독립성을 연구한다.
• 패치 수준 마스킹과 전이 학습 능력을 갖춘 자기지도 표현 학습을 시연한다.

제안 방법

• 다변량 시계열을 채널별로 공유 임베딩과 Transformer 가중치를 공유하는 채널 독립적인 단변량 시퀀스로 나눈다.
• 각 단변량 시퀀스를 패치로 세분화하여 입력 토큰을 형성하고 어텐션 복잡도를 O(N^2)에서 O((L/S)^2)-유사한 동작으로 감소시킨다.
• 패치 기반 임베딩과 위치 인코딩을 사용하는 바닐라 Transformer 인코더를 사용하여 미래 값을 예측한다.
• 패치화하기 전에 시계열마다 인스턴스 정규화를 적용하여 분포를 안정화한다.
• 채널 간 MSE 손실로 학습하고 융합 헤드를 사용하여 다단계 예측을 생성한다.
• 자기지도 학습의 경우 일부 패치를 마스킹하고 모델이 이를 재구성하도록 학습한다(예측 헤드는 없음).
• 감독 학습 예측과 자기지도 사전 학습의 전이 학습 시나리오를 평가한다.

실험 결과

연구 질문

• RQ1 패치 기반 토큰화가 시계열 트랜스포머에서 점별 토큰에 비해 정보 보유 및 예측 정확도를 향상시키는가?
• RQ2 채널 독립성(공유 가중치를 가진 채널별 토큰)을 강화하는 것이 다변량 시계열의 확장성 및 성능을 향상시키는가?
• RQ3 자기지도 PatchTST 표현이 데이터 세트 간 전이되고 감독 학습 기반이나 다른 Transformer 기반 모델을 능가하는가?
• RQ4 더 긴 회고 창이 패칭과 어떻게 상호작용하여 예측 정확도와 효율성에 영향을 미치는가?

주요 결과

• PatchTST는 여러 데이터셋에서 최첨단 Transformer 기반 기준선 대비 상당한 정확도 향상을 달성한다(예: PatchTST/64가 최상위 Transformer 기준선 대비 MSE 21.0% 감소 및 MAE 16.7% 감소).
• 패칭은 입력 토큰과 어텐션 메모리/계산을 줄여 더 긴 회고 창을 가능하게 하여 예측을 향상시키고 있다(예: L이 96에서 336으로 증가하면 MSE가 0.518에서 0.397로 향상).
• 채널 독립성과 패칭의 결합은 여러 데이터셋에서 성능 및 확장 가능한 아키텍처에 기여한다.
• 자기지도 PatchTST는 최첨단 표현 학습 및 전이 학습 성능을 제공하며, 종종 대형 데이터셋에서 감독 학습을 능가한다.
• 한 데이터셋에서 사전 학습하고 다른 데이터셋으로 미세 조정하거나 표현을 전이하는 것은 처음부터 학습하는 것과 비교해 예측 정확도를 유지하거나 향상시킬 수 있다.