[논문 리뷰] MixSeq: Connecting Macroscopic Time Series Forecasting with Microscopic Time Series Data

Zhibo Zhu, Ziqi Liu외 5명|arXiv (Cornell University)|2021. 10. 27.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

MixSeq는 잠재적 구성요소에 미세한 시계열을 군집화하고 각 군집을 Seq2seq 아키텍처로 모델링함으로써 매크로스코픽 시계열 예측 성능을 향상시키는 엔드 투 엔드 혼합 모델을 제안한다. 군집화된 구성요소에서 발생하는 낮은 분산을 활용함으로써, 특히 군집 수가 최적화된 경우 직접 매크로 수준의 모델링에 비해 더 높은 예측 정확도를 달성한다.

ABSTRACT

Time series forecasting is widely used in business intelligence, e.g., forecast stock market price, sales, and help the analysis of data trend. Most time series of interest are macroscopic time series that are aggregated from microscopic data. However, instead of directly modeling the macroscopic time series, rare literature studied the forecasting of macroscopic time series by leveraging data on the microscopic level. In this paper, we assume that the microscopic time series follow some unknown mixture probabilistic distributions. We theoretically show that as we identify the ground truth latent mixture components, the estimation of time series from each component could be improved because of lower variance, thus benefitting the estimation of macroscopic time series as well. Inspired by the power of Seq2seq and its variants on the modeling of time series data, we propose Mixture of Seq2seq (MixSeq), an end2end mixture model to cluster microscopic time series, where all the components come from a family of Seq2seq models parameterized by different parameters. Extensive experiments on both synthetic and real-world data show the superiority of our approach.

연구 동기 및 목표

• 매크로스코픽 시계열 예측 정확도를 향상시키기 위해 잠재적인 미세 시계열 데이터를 활용할 수 있는지 조사하는 것.
• 각각의 낮은 분산을 가진 잠재적 구성요소로 미세 시계열을 모델링하여 예측의 강건성을 향상시키는 것.
• 미세 시계열을 군집화하고 각 군집에 대해 Seq2seq 모델을 적용하는 엔드 투 엔드 혼합 모델인 MixSeq를 개발하는 것.
• 예측의 분산 감소와 과적합 사이의 균형을 맞추기 위해 군집 수 K를 최적화하는 것.
• 합성 및 실제 시계열 데이터셋을 대상으로 방법을 검증하여 기존의 표준 접근 방식에 비해 향상된 성능을 보여주는 것.

제안 방법

• 미세 시계열이 K개의 구성요소를 가진 잠재 혼합 모델에서 생성된다고 가정하며, 각 구성요소는 Φz로 매개변수화된 고유한 분포를 가진다.
• 후행 추론과 MixSeq의 엔드 투 엔드 학습을 위해 확률적 오토인코딩 변동 베이지안 알고리즘을 사용한다.
• 각 군집 내 시계열을 모델링하기 위해 일련의 Seq2seq 모델(예: 트랜스포머, TCN)을 구성요소로 적용하며, 각각 고유한 매개변수를 가진다.
• 미세 시계열을 잠재적 구성요소 할당 z_i 기반으로 군집화한 후, 모든 군집의 예측을 합하여 매크로스코픽 시계열을 예측한다.
• 실험에서는 인과적 컨volution 트랜스포머를 예측 백본으로 사용하며, K에 대한 이진 탐색을 통해 초모델을 튜닝한다.
• 과적합을 방지하고 구성요소 수준의 예측에서 낮은 분산을 유지하기 위해 군집 수 K를 민감도 분 析를 통해 최적화한다.

실험 결과

연구 질문

• RQ1 미세 시계열 데이터를 직접 매크로 수준의 시계열만 고려하는 것보다 모델링함으로써 매크로스코픽 시계열 예측 성능을 향상시킬 수 있는가?
• RQ2 미세 시계열을 잠재적 구성요소로 군집화하면 분산이 감소하고 예측 정확도가 향상되는가?
• RQ3 군집 수 K가 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ4 Seq2seq 모델의 혼합은 미세 시계열 간 이질적인 패턴을 효과적으로 포착할 수 있는가?
• RQ5 제안된 MixSeq 프레임워크는 직접 매크로 수준의 모델링이나 기존의 표준 예측 방법보다 더 효과적인가?

주요 결과

• MixSeq는 직접 매크로 수준의 예측(마크로 기준선)을 크게 능가하며, K=3일 때 합성 데이터에서 SMAPE 기준 15.5%의 상대적 향상을 달성한다(기본값).
• Rossmann 데이터셋에서 MixSeq는 K=5일 때 R0.5 손실 0.0227을 기록하여 마크로 기준선(0.0274)과 TCN, ConvTrans와 같은 다른 모델들을 능가한다.
• M5 데이터셋에서 MixSeq는 K=7일 때 R0.5 손실 0.0245를 기록하여 마크로 기준선(0.0274)을 뛰어넘고 최신 기술 수준의 모델들과 경쟁 가능하다.
• Wiki 데이터셋에서 MixSeq는 K=10일 때 R0.5 손실 0.0440을 기록하여 마크로 기준선(0.0471)과 DeepAR, TCN 등의 다른 모델들을 능가한다.
• 민감도 분석 결과, 최적 값에서 벗어나면 성능이 저하됨을 확인하여 군집 수에 대한 초모델 튜닝의 중요성을 입증한다.
• 미세 시계열 수가 적은 데이터셋(예: Rossmann)에서는 K에 대한 민감도가 가장 높으며, 이는 낮은 표본 수 환경에서 군집 품질이 매우 중요함을 시사한다.