[논문 리뷰] Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures

Tianping Zhang, Yizhuo Zhang외 5명|arXiv (Cornell University)|2022. 07. 04.

Time Series Analysis and Forecasting인용 수 88

한 줄 요약

LightTS는 연속 샘플링과 구간 샘플링을 통해 다변량 시계열의 단기 및 장기 패턴을 포착하는 경량 MLP 기반 모델을 제시하며, FLOPS가 훨씬 적고 견고한 강건성을 유지하면서 최첨단 또는 경쟁력 있는 성능을 달성합니다.

ABSTRACT

Multivariate time series forecasting has seen widely ranging applications in various domains, including finance, traffic, energy, and healthcare. To capture the sophisticated temporal patterns, plenty of research studies designed complex neural network architectures based on many variants of RNNs, GNNs, and Transformers. However, complex models are often computationally expensive and thus face a severe challenge in training and inference efficiency when applied to large-scale real-world datasets. In this paper, we introduce LightTS, a light deep learning architecture merely based on simple MLP-based structures. The key idea of LightTS is to apply an MLP-based structure on top of two delicate down-sampling strategies, including interval sampling and continuous sampling, inspired by a crucial fact that down-sampling time series often preserves the majority of its information. We conduct extensive experiments on eight widely used benchmark datasets. Compared with the existing state-of-the-art methods, LightTS demonstrates better performance on five of them and comparable performance on the rest. Moreover, LightTS is highly efficient. It uses less than 5% FLOPS compared with previous SOTA methods on the largest benchmark dataset. In addition, LightTS is robust and has a much smaller variance in forecasting accuracy than previous SOTA methods in long sequence forecasting tasks.

연구 동기 및 목표

• 다변량 시계열 예측에서 단순하고 경량 모델이 복잡한 아키텍처와 경쟁할 수 있는지에 대한 동기 부여.
• 정보를 보존하면서 입력 길이를 줄이는 두 가지 다운샘플링 전략을 소개.
• 다운샘플링된 하위 시퀀스와 변수 간 정보를 교환하는 MLP 기반 아키텍처를 개발.
• LightTS의 효율성, 강건성, 예측 정확도를 여러 벤치마크에서 입증.

제안 방법

• 토큰을 버리지 않고 각 시계열을 비중첩되지 않는 하위 시퀀스로 분할하기 위해 연속 샘플링과 구간 샘플링을 적용.
• IEBlocks(IEBlocks)와 병목 설계를 사용하여 특징 추출 및 시계열 간 상호작용을 위한 시간적 및 채널 투영을 수행.
• 두 샘플링 경로에서 나온 특징과 변수 간의 특징을 결합해 제3의 IEBlock을 통해 최종 예측을 형성.
• 긴 시퀀스를 효율적으로 처리하는 경량 아키텍처로 엔드 투 엔드로 학습.

실험 결과

연구 질문

• RQ1 단순한 MLP 기반 모델이 가벼운 다운샘플링으로도 다변량 시계열 예측에서 최첨단 방법과 맞먹거나 능가할 수 있는가?
• RQ2 연속 샘플링과 구간 샘플링이 단기 및 장기 패턴을 효과적으로 포착하면서도 효율성을 향상시키는가?
• RQ3 LightTS가 다양한 데이터셋에서 긴 입력 시퀀스에 대해 견고하고 확장 가능한가?

주요 결과

• LightTS가 여덟 개의 벤치마크 데이터셋에서 최첨단 또는 경쟁력 있는 결과를 달성하며, 긴 시퀀스 예측에서 여러 베이스라인을 능가했다.
• LightTS는 가장 큰 벤치마크 데이터셋에서 이전 SOTA 방법의 FLOPS의 5% 미만으로 필요로 한다.
• LightTS는 여러 설정에서 강력한 베이스라인보다 더 빠른 학습 속도를 보여준다.
• LightTS는 시드 간 예측 정확도 변동이 더 낮아 장기 시퀀스 작업에서 강건성이 향상되었음을 나타낸다.