[논문 리뷰] DSformer: A Double Sampling Transformer for Multivariate Time Series Long-term Prediction

Chengqing Yu, Fei Wang외 4명|arXiv (Cornell University)|2023. 08. 07.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

DSformer는 다변량 시계열 장기 예측을 위한 새로운 Transformer 기반 모델로, 전역 및 국소적 특징을 다운샘플링과 조각별 샘플링을 통해 추출하는 더블 샘플링(DS) 블록과 시계열 및 변수 상관관계를 모델링하는 시간-변수 어텐션(TVA) 블록을 도입한다. 이는 아홉 개인 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 정확도와 효율성 향상으로 인해 여덟 개의 기존 기준 모델을 능가한다.

ABSTRACT

Multivariate time series long-term prediction, which aims to predict the change of data in a long time, can provide references for decision-making. Although transformer-based models have made progress in this field, they usually do not make full use of three features of multivariate time series: global information, local information, and variables correlation. To effectively mine the above three features and establish a high-precision prediction model, we propose a double sampling transformer (DSformer), which consists of the double sampling (DS) block and the temporal variable attention (TVA) block. Firstly, the DS block employs down sampling and piecewise sampling to transform the original series into feature vectors that focus on global information and local information respectively. Then, TVA block uses temporal attention and variable attention to mine these feature vectors from different dimensions and extract key information. Finally, based on a parallel structure, DSformer uses multiple TVA blocks to mine and integrate different features obtained from DS blocks respectively. The integrated feature information is passed to the generative decoder based on a multi-layer perceptron to realize multivariate time series long-term prediction. Experimental results on nine real-world datasets show that DSformer can outperform eight existing baselines.

연구 동기 및 목표

• 기존의 Transformer 모델이 다변량 시계열에서 전역적, 국소적, 변수 상관관계 특징을 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• 시계열의 세 가지 핵심 특징을 명시적으로 모델링하여 장기 예측 정확도를 향상시키는 가벼운 구조이면서도 효과적인 아키텍처를 설계하기 위해.
• 실제 운영에 적합한 고성능과 함께 계산 효율성을 유지하기 위해.
• 전역 및 국소적 표현과 상변수 간 의존성을 통합하여 향상된 예측 성능을 제공하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 더블 샘플링(DS) 블록은 간격을 늘인 다운샘플링을 통해 전역적, 계절성 인식 특징을 추출하고, 조각별 샘플링을 통해 국소적 고해상도 패턴을 유지한다.
• DS 블록은 전역 추세를 강조하는 특징 벡터와 국소 세부 정보를 강조하는 특징 벡터 두 개를 출력하여 서로 다른 유형의 정보를 병렬 처리할 수 있도록 한다.
• 시간-변수 어텐션(TVA) 블록은 시간과 변수 간의 의존성을 동시에 모델링하기 위해 별도의 시간 어텐션 및 변수 어텐션 메커니즘을 적용한다.
• TVA 블록의 병렬 스택은 전역 및 국소 특징 벡터를 각각 독립적으로 처리하여 다양한 표현의 공동 학습을 가능하게 한다.
• 통합된 특징는 다층 퍼셉트론 디코더를 통해 자동회귀적 장기 예측에 전달된다.
• 복잡한 아키텍처 기법을 피함으로써 계산 오버헤드를 줄이고도 높은 성능을 유지한다.

실험 결과

연구 질문

• RQ1 어떻게 Transformer 기반 모델이 장기적인 다변량 시계열에서 전역적 및 국소적 패턴을 효과적으로 포착할 수 있는가?
• RQ2 변수 상관관계를 명시적으로 모델링하면 장기 예측 정확도가 향상되는가?
• RQ3 기록 길이와 샘플링 간격 사이의 균형이 모델 성능에 어떤 영향을 미치는가?
• RQ4 경량 설계가 효율성을 희생시키지 않고도 최신 기술 성능을 달성할 수 있는가?
• RQ5 다양한 샘플링 전략이 특징 표현 품질에 어떤 영향을 미치는가?

주요 결과

• DSformer는 아홉 개인 실세계 데이터셋에서 여덟 개의 기존 기준 모델을 모두 능가하여 다변량 시계열 장기 예측에서 최신 기술 성능을 입증한다.
• 기록 길이가 짧을 경우 큰 샘플링 간격은 국소 정보 손실로 인해 성능을 떨어뜨리며, 중간 정도의 간격에서 최적의 성능을 달성한다.
• 기록 길이가 길어질수록 샘플링 간격을 늘리면 전역 패턴 인식 능력 향상과 국소 구조 유지로 성능 향상이 이루어진다.
• O(N²) 복잡도에도 불구하고 낮은 계산 비용을 유지하며, 다른 Transformer 변종보다도 훈련 효율성이 뛰어나다.
• DS 및 TVA 블록의 조합은 전역, 국소, 상변수 간 의존성을 효과적으로 통합하여 다양한 데이터셋에서 일관된 성능 향상을 이끌어낸다.
• 실험 결과, DSformer는 기준 모델 대비 RMSE와 MAE를 모두 낮추며, 데이터셋과 예측 수준에 따라 2%에서 15%까지의 개선을 보였다.