[논문 리뷰] Long-term Forecasting with TiDE: Time-series Dense Encoder

Abhimanyu Das, Weihao Kong외 4명|arXiv (Cornell University)|2023. 04. 17.

Neural Networks and Applications인용 수 157

한 줄 요약

TiDE는 공변량을 처리하는 장기 예측을 위한 MLP 기반 인코더-디코더를 제시하며, Transformer와 비슷한 정확도를 달성하고 훨씬 빠르다. 미래 공변량을 반영하기 위해 선형 잔차 연결과 시계열 디코더를 포함한다.

ABSTRACT

Recent work has shown that simple linear models can outperform several Transformer based approaches in long term time-series forecasting. Motivated by this, we propose a Multi-layer Perceptron (MLP) based encoder-decoder model, Time-series Dense Encoder (TiDE), for long-term time-series forecasting that enjoys the simplicity and speed of linear models while also being able to handle covariates and non-linear dependencies. Theoretically, we prove that the simplest linear analogue of our model can achieve near optimal error rate for linear dynamical systems (LDS) under some assumptions. Empirically, we show that our method can match or outperform prior approaches on popular long-term time-series forecasting benchmarks while being 5-10x faster than the best Transformer based model.

연구 동기 및 목표

• 다변량 시계열에서 공변량을 포함한 정확한 장기 예측의 필요성을 제시한다.
• 자기-attention과 순환을 피하는 간단하면서도 효과적인 MLP 기반 인코더-디코더 아키텍처(TiDE)를 제안한다.
• 이론적으로 선형 해석적 유사체를 분석하여 선형 동역학 시스템에 대해 거의 최적의 오차율을 보인다.
• 표준 벤치마크에서 TiDE를 최첨단 Transformer 기반 모델 및 선형 모델과 실험적으로 비교한다.
• 경쟁력 있는 정확도를 유지하면서 학습 및 추론 효율성을 향상시킨다.

제안 방법

• TiDE는 다이나믹 공변량 차원을 감소시키는 피처 프로젝션 단계 후에 밀집 MLP 인코더를 사용해 과거 관측치를 인코딩한다.
• 밀집 MLP 디코더가 호라이즌에 특화된 표현을 생성하고, 이어서 시계열 디코더가 이 표현들을 미래 공변량과 융합해 예측치를 생성한다.
• 과거에서 호라이즌으로의 글로벌 선형 잔차 연결을 추가하여 선형 모델이 TiDE의 서브클래스로 되도록 한다.
• TemporalDecoder 하이퍼파라미터는 호라이즌 단계 처리에 사용되는 숨은 크기를 제어한다.
• 학습은 MSE 손실과 롤링 평가를 사용한 미니배치 경사하강법으로 표준화된 로드백/호라이즌 설정에서 수행된다.

Figure 1 : Overview of TiDE architecture. The dynamic covariates per time-point are mapped to a lower dimensional space using a feature projection step. Then the encoder combines the look-back along with the projected covariates with the static attributes to form an encoding. The decoder maps this e

실험 결과

연구 질문

• RQ1 TiDE(MLP 기반 Dense Encoder)가 장기 다변량 예측 벤치마크에서 Transformer 기반 접근법과 대등하거나 우수한 성능을 보일 수 있는가?
• RQ2 동적 및 정적 공변량이 있을 때 TiDE가 이를 효과적으로 활용하면서도 self-attention 없이 성능을 발휘하는가?
• RQ3 TiDE의 선형 유사체가 합리적인 스펙트럼 조건에서 선형 동역학 시스템에 대해 거의 최적의 오차를 달성하는가?
• RQ4 표준 데이터셋 전반에서 TiDE와 Transformer 기반 모델 간의 정확도, 학습 시간, 추론 시간의 실용적 트레이드오프는 어떠한가?

주요 결과

• TiDE는 인기 있는 장기 예측 벤치마크에서 최첨단 Transformer 기반 모델과 비교하여 MSE가 동등하거나 우수하다.
• TiDE는 Traffic와 같은 대형 데이터셋에서 최상의 Transformer 기반 모델보다 추론 속도가 5배 빠르고 학습 속도가 10배 이상 빠르다.
• 미래 공변량을 시계열 디코더를 통해 도입하면 특히 특정 호라이즌 단계에서 공변량이 직접적인 효과를 낼 때 실질적인 이점을 제공한다.
• TiDE의 선형 유사체는 선형 동역학 시스템에서 거의 최적에 가까우며, 장기 예측에서 단순한 선형/바이어스 가능 아키텍처의 효과를 이론적으로 뒷받침한다.
• TiDE는 동적 공변량과 정적 속성을 모두 효과적으로 처리하며, 공변량을 사용할 때 M5 수요 예측 벤치마크에서 베이스라인을 능가한다.

(a) Inference time per batch in microseconds