[논문 리뷰] A Systematic Review for Transformer-based Long-term Series Forecasting

Liyilei Su, Xumin Zuo외 4명|arXiv (Cornell University)|2023. 10. 31.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 체계적 리뷰는 장기 시계열 예측(LTSF)을 위한 Transformer 기반 모델을 종합적으로 분석하며, 아키텍처 변종, 벤치마크 데이터셋, 평가 지표, 훈련 최적 실천 방법을 포함한다. 주요 설계 패턴과 부상 중인 연구 방향을 규명하여, Transformer를 활용한 장기 예측 분야의 향후 연구에 체계적인 기반을 제공한다.

ABSTRACT

The emergence of deep learning has yielded noteworthy advancements in time series forecasting (TSF). Transformer architectures, in particular, have witnessed broad utilization and adoption in TSF tasks. Transformers have proven to be the most successful solution to extract the semantic correlations among the elements within a long sequence. Various variants have enabled transformer architecture to effectively handle long-term time series forecasting (LTSF) tasks. In this article, we first present a comprehensive overview of transformer architectures and their subsequent enhancements developed to address various LTSF tasks. Then, we summarize the publicly available LTSF datasets and relevant evaluation metrics. Furthermore, we provide valuable insights into the best practices and techniques for effectively training transformers in the context of time-series analysis. Lastly, we propose potential research directions in this rapidly evolving field.

연구 동기 및 목표

• 장기 시계열 예측(LTSF)을 위해 설계된 Transformer 아키텍처 및 그 변종에 대한 종합적 개요를 제공하기 위해.
• 공개된 LTSF 데이터셋과 분야에서 사용되는 표준 평가 지표를 요약하기 위해.
• 시계열 데이터에 대해 Transformer를 효과적으로 훈련시키기 위한 최적 실천 방법을 도출하기 위해.
• 현재의 주요 과제와 Transformer를 활용한 LTSF 분야에서 유망한 연구 방향을 식별하고 논의하기 위해.

제안 방법

• 2017년부터 2023년까지 장기 시계열 예측(LTSF) 분야에서의 Transformer 기반 접근법에 대한 체계적 문헌 리뷰를 수행하였다.
• 주의 메커니즘, 위치 인코딩, 시퀀스 모델링 전략 기반으로 Transformer 변종을 분류하였다.
• 20개 이상의 공개된 LTSF 데이터셋을 수집하고 그 특성에 대해 분석하였다.
• 연구 간 평가 프로토콜, 지표(MAE, RMSE, MAPE 등) 및 표준 기준 모델을 통합 분석하였다.
• 모델 일반화를 향상시키는 데 기여하는 훈련 기법, 예를 들어 입력 토큰화, 손실 함수, 정규화 전략을 규명하였다.
• 장기적 의존성 모델링 및 계산 효율성 등의 특정 LTSF 과제에 대응하는 아키텍처 혁신을 매핑하였다.

실험 결과

연구 질문

• RQ1 장기 시계열 예측을 위한 주로 사용되는 Transformer 아키텍처와 그 핵심 수정 사항은 무엇인가?
• RQ2 LTSF 연구에서 가장 흔히 사용되는 데이터셋과 평가 지표는 무엇이며, 이는 모델 성능 비교에 어떻게 영향을 미치는가?
• RQ3 Transformer 기반 LTSF 모델의 일반화 및 강건성 향상에 기여하는 주요 훈련 기법과 하이퍼파라미터 설정은 무엇인가?
• RQ4 현재의 Transformer 기반 LTSF 접근법에서 가장 큰 제약 요소와 열린 과제는 무엇인가?
• RQ5 Transformer를 활용한 장기 예측을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• LTSF를 위한 다양한 Transformer 변종이 등장하였으며, Informer, Autoformer, Temporal Fusion Transformer 등의 방법이 벤치마크 데이터셋에서 최고 성능을 기록하였다.
• 가장 널리 사용되는 데이터셋은 ETTh1, ETTh2, ECL, Weather이며, 특히 장기 예측 과제에서 ETTh1과 ETTh2가 가장 자주 인용된다.
• MAE와 RMSE와 같은 평가 지표는 일관되게 사용되고 있으나, 연구 간 예측 수평 설정 및 데이터 분할 방식에 대한 표준화가 부족한 편이다.
• 최적 실천 방법으로는 상대적 위치 인코딩, 희소 주의 메커니즘, 분리된 토큰화를 사용하는 것이 장기 시퀀스 모델링 및 훈련 안정성 향상에 기여한다.
• 진전이 있었음에도 불구하고, 도메인 간 일반화 문제, 매우 긴 시퀀스에 대한 계산 효율성 문제, 주의 패턴의 해석 가능성 문제 등 과제가 남아 있다.
• 미래 연구 방향으로는 하이브리드 아키텍처, 자기지도 학습 전훈련, 장거리 의존성에 최적화된 주의 메커니즘 향상이 부상하고 있다.