[논문 리뷰] Effectively Modeling Time Series with Simple Discrete State Spaces

Michael Zhang, Khaled K. Saab외 4명|arXiv (Cornell University)|2023. 03. 16.

Time Series Analysis and Forecasting인용 수 13

한 줄 요약

SpaceTime는 표현력, 장기 예측, 및 효율성을 개선하기 위해 companion-matrix 상태공간 모델을 도입하여 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Time series modeling is a well-established problem, which often requires that methods (1) expressively represent complicated dependencies, (2) forecast long horizons, and (3) efficiently train over long sequences. State-space models (SSMs) are classical models for time series, and prior works combine SSMs with deep learning layers for efficient sequence modeling. However, we find fundamental limitations with these prior approaches, proving their SSM representations cannot express autoregressive time series processes. We thus introduce SpaceTime, a new state-space time series architecture that improves all three criteria. For expressivity, we propose a new SSM parameterization based on the companion matrix -- a canonical representation for discrete-time processes -- which enables SpaceTime's SSM layers to learn desirable autoregressive processes. For long horizon forecasting, we introduce a "closed-loop" variation of the companion SSM, which enables SpaceTime to predict many future time-steps by generating its own layer-wise inputs. For efficient training and inference, we introduce an algorithm that reduces the memory and compute of a forward pass with the companion matrix. With sequence length $\ell$ and state-space size $d$, we go from $ ilde{O}(d \ell)$ naïvely to $ ilde{O}(d + \ell)$. In experiments, our contributions lead to state-of-the-art results on extensive and diverse benchmarks, with best or second-best AUROC on 6 / 7 ECG and speech time series classification, and best MSE on 14 / 16 Informer forecasting tasks. Furthermore, we find SpaceTime (1) fits AR($p$) processes that prior deep SSMs fail on, (2) forecasts notably more accurately on longer horizons than prior state-of-the-art, and (3) speeds up training on real-world ETTh1 data by 73% and 80% relative wall-clock time over Transformers and LSTMs.

연구 동기 및 목표

• 시계열 모델링의 도전과제를 동기 부여합니다: 표현력, 장기 예측, 그리고 효율적인 학습/추론.
• 자기회귀 프로세스를 포착하기 위한 companion-matrix 이산 시간 상태공간 형식을 제안합니다.
• 여러 SSM을 병렬로 학습하고 데이터를 전처리할 수 있는 다중-SSM SpaceTime 계층을 개발합니다.
• 단일 SSM 계층 내에서 장기 예측을 가능하게 하는 폐루프(closed-loop) 예측 메커니즘을 도입합니다.
• 동반 행렬 구조를 활용한 서브-제곱근 복잡도의 순전파 알고리즘을 제공합니다.

제안 방법

• 상태 전이 행렬 A를 ARMA 유사 프로세스를 표현하기 위해 companion matrix로 매개변수화합니다.
• 공간 Time 계층당 여러 SSM을 표현하여 표현력을 확장하고 병렬 계산을 가능하게 합니다.
• 효율적인 학습 및 추론을 위해 1-D 컨볼루션 및 FFT 기반 방법으로 SSM을 계산합니다.
• 장기 예측을 가능하게 하기 위해 미래 입력을 예측하도록 학습하는 폐루프(closed-loop) 변형을 도입합니다.
• 차분(differencing), 스무딩(smoothing) 등의 데이터 전처리 아이디어를 companion SSM의 가중치 초기화를 통해 SpaceTime에 직접 통합합니다.

실험 결과

연구 질문

• RQ1 동반 행렬 SSM이 ARIMA 및 지수평활(exponential smoothing)과 같은 기본 시계열 프로세스를 표현할 수 있을까요?
• RQ2 이전 SSM 및 트랜스포머 기반 모델과 비교하여 SpaceTime이 예측 정확도를 개선합니까, 특히 더 긴 수평에서?
• RQ3 SpaceTime 아키텍처가 긴 시퀀스에 대해 학습할 만큼 계산 효율적입니까?
• RQ4 폐루프 SSM 접근 방식이 다단계 예측의 안정성과 정확도에 어떤 영향을 줍니까?
• RQ5 SpaceTime 계층이 비정상(nonstationary) 데이터에 대해 차분(differencing), 스무딩(smoothing) 등의 유용한 내장 전처리 효과를 제공합니까?

주요 결과

• SpaceTime은 companion SSM을 통해 ARIMA, 지수평활(exponential smoothing), 그리고 제어 가능한 선형 시스템을 표현할 수 있습니다.
• SpaceTime은 ECG, 음성, 예측 벤치마크에서 최첨단 혹은 근접 최첨단 결과를 달성하며, 여러 작업에서 AUROC 최상위 또는 두 번째 최상을 포함합니다.
• SpaceTime은 더 긴 수평에서 우수한 성능을 보이고, 미지의 수평으로의 일반화에 잘 작동합니다.
• 실세계 데이터의 학습 속도를 크게 높이며, Transformer 및 LSTM에 비해 실제 소요 시간(wall-clock time)이 크게 감소합니다.
• 효율적인 부분 제곱근 추론 알고리즘은 FFT 기반 컨볼루션 및 스펙트럴 기법을 사용하여 계층당 순전파 비용을 O(d ℓ)에서 O(d + ℓ)로 감소시킵니다.