[논문 리뷰] Foundations of Sequence-to-Sequence Modeling for Time Series

Vitaly Kuznetsov, Zelda Mariet|arXiv (Cornell University)|2018. 05. 09.

Time Series Analysis and Forecasting참고 문헌 41인용 수 24

한 줄 요약

이 논문은 시계열 예측에서 순서에서 순서(sequence-to-sequence, seq2seq) 모델에 대한 이론적 일반화 경계를 처음으로 제안하며, 비 stationary 성과 상관계 기반의 표본 복잡도를 분석한다. 비 stationary 정도와 교차 시리즈 상관관계에 따라 seq2seq 모델은 $ m $이 시퀀스 길이 $ T $보다 훨씬 클 경우, 약한 상관관계 조건에서 국소 모델보다 성능이 뛰어나며, 반대로 $ m \ll T $ 이거나 상관관계가 강할 경우 국소 모델이 더 낫다.

ABSTRACT

The availability of large amounts of time series data, paired with the performance of deep-learning algorithms on a broad class of problems, has recently led to significant interest in the use of sequence-to-sequence models for time series forecasting. We provide the first theoretical analysis of this time series forecasting framework. We include a comparison of sequence-to-sequence modeling to classical time series models, and as such our theory can serve as a quantitative guide for practitioners choosing between different modeling methodologies.

연구 동기 및 목표

• 시계열 예측에서 순서에서 순서 모델링에 대한 첫 이론적 일반화 보장을 제공하는 것.
• 다양한 통계적 성질 하에서 고전적 국소 모델(예: ARIMA, VARMA)과의 표본 복잡도를 비교하는 것.
• 비 stationary 성과 교차 시리즈 상관관계 기반으로 seq2seq 모델링이 국소 모델링보다 유리한 조건을 규명하는 것.
• 시계열의 비 stationary 성을 정량화하기 위한 데이터 기반의 차이 측도를 제안하고 분석하는 것.
• 국소 모델과 seq2seq 학습을 융합하는 하이브리드 모델을 연구하고, 이러한 프레임워크에 대한 일반화 경계를 유도하는 것.

제안 방법

• 모든 $ m $개의 시계열을 각각 하나의 입력-출력 쌍으로 간주하는 seq2seq 모델링의 공식적 프레임워크를 제안: 과거 시퀀스 $ Y_1^{T-1}(i) $ 를 다음 값 $ Y_T(i) $ 로 매핑.
• 각 시간점에서의 비 stationary 성을 정량화하기 위해 새로운 차이 측도 $ \Delta_t $ 를 도입하며, 이는 학습 분포와 테스트 분포 간의 기대 손실 차이로 정의된다.
• 실제 데이터셋에서 비 stationary 성을 실증적으로 평가할 수 있도록 데이터 기반의 차이 측도를 정의한다.
• 기대 혼합 계수와 차이 측도를 사용하여 seq2seq 모델의 일반화 경계를 도출하며, 약한 상관관계 조건 하에서 표본 복잡도가 $ \mathcal{O}(\sqrt{T/m}) $ 에 비례함을 보인다.
• 동일한 이론적 도구를 국소 모델에 적용하여, 표본 복잡도가 $ \mathcal{O}(\sqrt{\log m / T}) $ 에 비례함을 도출하며, 직접 비교가 가능해진다.
• 국소 모델과 seq2seq 학습을 융합하는 하이브리드 모델을 제안하며, 일반화 경계가 $ m $과 $ T $에 모두 의존함을 보이고, 새로운 시간점별 특화 차이 측도 $ \Delta_t $ 를 도입한다.

실험 결과

연구 질문

• RQ1 시계열 예측을 위한 seq2seq 모델의 일반화 능력은 무엇이며, 비 stationary 성과 교차 시리즈 상관관계에 어떻게 의존하는가?
• RQ2 표본 복잡도와 통계적 성질 측면에서 seq2seq 모델링이 국소 모델링보다 유리한 경우는 언제이며, 반대로 언제 국소 모델링이 유리한가?
• RQ3 이 차이 측도는 데이터로부터 계산 가능한가? 그리고 seq2seq 모델링이 성공할 가능성이 있는지를 실용적인 지표로 활용할 수 있는가?
• RQ4 국소 모델과 seq2seq 학습을 융합하는 하이브리드 모델의 성능은 어떠하며, 그 일반화 보장은 무엇인가?
• RQ5 이론적 경계는 훈련 중에 관찰되지 않은 분포를 벗어난 시계열에 어떻게 확장되는가?

주요 결과

• seq2seq 모델의 일반화 오차는 $ \mathcal{O}(\sqrt{T/m}) $ 에 비례하며, 이는 약한 교차 시리즈 상관관계 조건 하에서 $ m \gg T $ 인 경우 성능이 뛰어남을 시사한다.
• 국소 모델의 표본 복잡도는 $ \mathcal{O}(\sqrt{\log m / T}) $ 에 비례하므로, $ m \ll T $ 이거나 시계열 간 상관관계가 강할 경우 유리하다.
• 차이 측도 $ \Delta_t $ 는 데이터로부터 계산 가능하며 비 stationary 성에 대한 실용적 지표로 기능한다. 낮은 값은 seq2seq 모델의 성능 향상을 시사한다.
• 하이브리드 모델은 $ m \gg T $ 또는 $ T \gg m $ 인 경우 유리한 일반화 경계를 달성하지만, 성능은 시간별 특화 차이 측도 $ \Delta_t $ 를 포함한 더 복잡한 트레이드오프에 따라 달라진다.
• 이론적 프레임워크는 훈련 중에 관찰되지 않은 분포의 시계열에 대해서도 확장 가능하며, 약한 가정 하에 seq2seq 모델이 일반화 가능함을 보여준다.
• 분석 결과, 개별 시계열이 짧더라도 $ m $ 이 크고 상관관계가 약할 경우, seq2seq 모델이 국소 모델을 능가할 수 있음을 입증한다.