[논문 리뷰] Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting

Amin Shabani, Amir H. Abdi외 2명|arXiv (Cornell University)|2022. 06. 08.

Time Series Analysis and Forecasting인용 수 36

한 줄 요약

Scaleformer는 교차 규모 정규화를 갖춘 반복적 다중 스케일 정제 프레임워크를 도입하여 기존 트랜스포머 기반 시계열 모델에 plug-in 할 수 있으며, 최소한의 오버헤드로 MSE/MAE를 크게 개선합니다.

ABSTRACT

The performance of time series forecasting has recently been greatly improved by the introduction of transformers. In this paper, we propose a general multi-scale framework that can be applied to the state-of-the-art transformer-based time series forecasting models (FEDformer, Autoformer, etc.). By iteratively refining a forecasted time series at multiple scales with shared weights, introducing architecture adaptations, and a specially-designed normalization scheme, we are able to achieve significant performance improvements, from 5.5% to 38.5% across datasets and transformer architectures, with minimal additional computational overhead. Via detailed ablation studies, we demonstrate the effectiveness of each of our contributions across the architecture and methodology. Furthermore, our experiments on various public datasets demonstrate that the proposed improvements outperform their corresponding baseline counterparts. Our code is publicly available in https://github.com/BorealisAI/scaleformer.

연구 동기 및 목표

• 상호 규모 간 의존성을 포착하기 위해 시계열 예측에서 규모 인식 처리의 필요성을 제시한다.
• 특정 아키텍처에 구애받지 않는 일반적인 다중 스케일 개선 프레임워크를 제안하여 트랜스포머 백본(FEDformer, Autoformer 등)에 적용 가능하게 한다.
• 반복적 정제 과정에서 규모 간 및 창 간 분포 이동(distribution shifts)을 완화하기 위해 교차 규모 정규화를 도입한다.
• 일련의 데이터셋과 백본에 대해 어브레이션과 비교를 통해 실증적 이득을 보여준다.

제안 방법

• 다운샘플링(s 및 s의 거듭제곱)으로 정의된 일련의 시간적 스케일을 설정하고, 가장 작은 스케일에서 원래 스케일까지의 순차적 반복 정제를 수행한다.
• 각 스케일에서 동일한 Transformer 모듈을 적용하되, 인코더 입력은 다운샘플링된 과거 정보를, 디코더 입력은 업샘플링된 이전 출력으로부터 얻는다.
• 이동 평균 통계를 이용해 인코더/디코더 입력을 중심화하는 교차 규모 정규화를 도입하여 규모 간 분포 이동을 줄인다.
• 값 임베딩, 시간 임베딩, 그리고 규모 인식 고정 위치 임베딩으로 입력을 임베딩한다.
• 아웃라이어가 있을 때 표준 MSE를 대체하는 적응적 손실(Barron, 2019) f(x, alpha, c)를 엔드 투 엔드로 학습하도록 구성한다.

실험 결과

연구 질문

• RQ1 공유 가중치를 갖는 반복적 다중 스케일 개선이 서로 다른 트랜스포머 백본에서 예측 정확도를 향상시킬 수 있는가?
• RQ2 교차 규모 정규화가 학습의 안정화를 효과적으로 달성하고 규모 간 오차 전이 확산을 차단하는가?
• RQ3 FEDFormer, Autoformer, Informer, Reformer, Performer 등 기초 모델과 다양한 데이터셋에서 다중 스케일 정제가 주는 성능 향상은 어느 정도인가?

주요 결과

• Scaleformer를 백본 모델에 적용했을 때 평균 제곱 오차(MSE) 감소폭이 5.5%에서 38.5% 범위이다.
• 기준선 대비 평균 개선은 MSE에서 FEDFormer 5.6%, Autoformer 13.5%, Informer 38.5%이며, 이에 상응하는 MAE 이득도 있다.
• 교차 규모 정규화는 필수적이다; 이를 적용하지 않으면 다중 스케일 변형이 많은 경우 성능이 떨어지며, 단일 스케일 정규화도 일부 모델에 도움이 된다.
• 어브레이션 연구에서 다중 스케일 개선과 적응형 손실의 결합이 모든 데이터셋에서 최상의 성능을 보인다.
• 프레임워크는 기본과 유사한 파라미터 수를 유지하고 약간의 계산 오버헤드를 가지며, Electricity, Weather, Exchange-rate, Traffic, ILI 등 다양한 데이터셋에 확장된다.