[논문 리뷰] BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis

Zelin Ni, Hang Yu외 3명|arXiv (Cornell University)|2023. 10. 31.

Stock Market Forecasting Methods인용 수 12

한 줄 요약

BasisFormer은 자기지도 대조 학습을 통해 데이터 기반의 해석 가능한 기저를 학습하고, 양방향 교차 주의력을 갖춘 Coef 모듈을 사용해 시계열을 기저 벡터와 정렬한 다음, 미래-기저 벡터를 집계하여 예측합니다. 단일변량 및 다변량 예측에서 여섯 데이터셋에 대해 최첨단 성능을 달성합니다.

ABSTRACT

Bases have become an integral part of modern deep learning-based models for time series forecasting due to their ability to act as feature extractors or future references. To be effective, a basis must be tailored to the specific set of time series data and exhibit distinct correlation with each time series within the set. However, current state-of-the-art methods are limited in their ability to satisfy both of these requirements simultaneously. To address this challenge, we propose BasisFormer, an end-to-end time series forecasting architecture that leverages learnable and interpretable bases. This architecture comprises three components: First, we acquire bases through adaptive self-supervised learning, which treats the historical and future sections of the time series as two distinct views and employs contrastive learning. Next, we design a Coef module that calculates the similarity coefficients between the time series and bases in the historical view via bidirectional cross-attention. Finally, we present a Forecast module that selects and consolidates the bases in the future view based on the similarity coefficients, resulting in accurate future predictions. Through extensive experiments on six datasets, we demonstrate that BasisFormer outperforms previous state-of-the-art methods by 11.04\% and 15.78\% respectively for univariate and multivariate forecasting tasks. Code is available at: \url{https://github.com/nzl5116190/Basisformer}

연구 동기 및 목표

• 시계열 데이터셋에 맞춤화된 학습 가능한 기저의 사용을 제안합니다.
• 과거 뷰와 미래 뷰를 두 가지 뷰로 간주하는 적응적 자기지도 학습을 통해 기저를 학습합니다.
• 시계열-기저 유사도를 측정하기 위한 양방향 교차 주의 기반의 Coef 모듈을 개발합니다.
• 학습된 계수를 사용해 미래-기저 벡터를 집계하여 정확한 예측을 수행하는 Forecast 모듈을 설계합니다.
• 엔드-투-엔드 학습을 시연하고 여섯 개의 실제 데이터셋에서 최첨단 개선을 보여줍니다.

제안 방법

• 각 시계열의 과거 뷰와 미래 뷰 간의 적응적 자기지도 대조 학습을 통해 기저를 학습합니다.
• 과거 뷰에서 시계열과 기저 벡터 간의 유사 계수를 계산하기 위해 양방향 교차 주의력을 사용하는 Coef 모듈.
• 계수에 가중치를 두어 미래-기저 벡터를 투영하고 집계하여 미래 값을 예측하는 Forecast 모듈.
• 손실 설계는 1) 예측 MSE, 2) 과거 뷰와 미래 뷰 계수 간의 InfoNCE 정렬 손실, 3) 시간에 따른 학습된 기저의 매끄러움 규제, 더불어 타임스탬프 조건의 4층 MLP 기저 생성기를 결합합니다.
• Basis, Coef, Forecast 구성요소를 통합한 BasisFormer의 엔드-투-엔드 학습.

실험 결과

연구 질문

• RQ1 학습 가능하고 해석 가능한 기저가 고정 기저나 공변량 기반 기저를 시계열 예측에서 능가할 수 있는가?
• RQ2 과거 뷰와 미래 뷰에서 일관되게 유지되는 기저-시계열 연관성을 어떻게 강건하게 학습할 수 있는가?
• RQ3 기저 벡터의 수와 다중-헤드 주의가 예측 정확도에 미치는 영향은 무엇인가?
• RQ4 자기지도 정렬 및 매끄러움 손실이 기저 품질과 예측 성능에 얼마나 중요한가?

주요 결과

• BasisFormer는 단일 변수 예측에서 SOTA 대비 최대 11.04% 개선, 다변량 예측에서 15.78% 개선을 달성합니다.
• 학습 가능한 기저는 평가 데이터셋에서 고정된 사인/코사인 기저 및 공변량 임베딩을 크게 능가합니다.
• Coef 모듈의 헤드 수를 증가시키면 일반적으로 어느 정도까지는 성능이 개선되나, 어느 시점 이후에는 성능이 저하될 수 있습니다.
• InfoNCE 기반 정렬 손실과 Basis 모듀의 매끄러움 손실은 모두 긍정적으로 기여하며, 이들의 결합이 최상의 결과를 낳습니다.
• 이 모델은 특히 Traffic와 같은 고주기성 데이터셋에서 강력한 성능을 발휘하며, 데이터셋 특성에 맞춘 기저 학습이 효과적으로 이루어졌음을 시사합니다.