[논문 리뷰] Chronos: Learning the Language of Time Series

Abdul Fatir Ansari, Lorenzo Stella외 16명|arXiv (Cornell University)|2024. 03. 12.

Time Series Analysis and Forecasting인용 수 51

한 줄 요약

Chronos 사전 학습된 확률적 시계열 모델은 실수 값을 고정 어휘로 토큰화하고 표준 트랜스포머 언어 모델을 학습시켜, 42개 데이터셋에서 강력한 도메인 내 및 제로샷 예预测을 달성한다.

ABSTRACT

We introduce Chronos, a simple yet effective framework for pretrained probabilistic time series models. Chronos tokenizes time series values using scaling and quantization into a fixed vocabulary and trains existing transformer-based language model architectures on these tokenized time series via the cross-entropy loss. We pretrained Chronos models based on the T5 family (ranging from 20M to 710M parameters) on a large collection of publicly available datasets, complemented by a synthetic dataset that we generated via Gaussian processes to improve generalization. In a comprehensive benchmark consisting of 42 datasets, and comprising both classical local models and deep learning methods, we show that Chronos models: (a) significantly outperform other methods on datasets that were part of the training corpus; and (b) have comparable and occasionally superior zero-shot performance on new datasets, relative to methods that were trained specifically on them. Our results demonstrate that Chronos models can leverage time series data from diverse domains to improve zero-shot accuracy on unseen forecasting tasks, positioning pretrained models as a viable tool to greatly simplify forecasting pipelines.

연구 동기 및 목표

• 다양한 시계열 데이터를 활용할 수 있는 일반적이고 사전 학습된 예측 모델의 필요성을 동기 부여한다.
• 토큰화와 표준 LM 학습을 통해 언어 모델을 시계열에 최소한의 역할로 적응시키는 제안을 한다.
• 합성 데이터 및 혼합 패턴 데이터 증강을 통해 훈련 다양성을 확대하여 일반화 성능을 개선한다.
• 광범위한 벤치마크 모음에서 강력한 도메인 내 및 제로샷 예측 성능을 입증한다.

제안 방법

• 간단한 스케일링과 균일 양자화를 통해 시계열 값을 고정 어휘로 토큰화한다.
• 토큰화된 시계열에 대해 교차 엔트로피로 학습하는 손에 잡히는 인코더-디코더 또는 디코더-전용 트랜스포머 모델(예: T5 변형, GPT-2)을 학습시킨다.
• 관측값을 범주 분포로 모델링하고 분류를 통한 회귀를 수행한다(확률적 예측).
• 자기회귀적으로 토큰 예측을 샘플링하고 역양자화를 통해 실값으로 매핑하여 예측 분포를 얻는다.
• TSMix(데이터셋 간 시계열 믹스업) 및 KernelSynth(GP 기반 합성 시계열)으로 훈련을 증강하여 강인성을 향상시킨다.
• 특정 작업 미세조정 없이 본 적 없는 데이터셋에서 테스트하여 제로샷 성능을 평가한다.

실험 결과

연구 질문

• RQ1 토큰화된 시계열에 대해 학습된 언어 모델 기반 프레임워크가 다양한 도메인에서 경쟁력 있는 확률 예측을 제공할 수 있는가?
• RQ2 사전 학습된 Chronos 모델이 미지의 데이터셋에서 강력한 제로샷 예측 능력을 보이는가?
• RQ3 어떤 설계 선택(모델 크기, 토큰화, 증강)이 도메인 내 및 제로샷 성능에 가장 큰 영향을 미치는가?

주요 결과

• Chronos 모델은 학습 코퍼스에 포함된 데이터셋에서 기준선보다 현저하게 우수하다.
• Chronos는 새 데이터셋에서 해당 데이터셋에 특화되게 학습된 모델과 비교해 유사하거나 때로는 더 우수한 제로샷 성능을 달성한다.
• 간단한 토큰화와 표준 LM 아키텍처를 사용하여 Chronos는 고정 어휘로 샘플링을 통해 확률적 예측을 제공한다.
• 데이터 증강(TSMix 및 KernelSynth)은 훈련 데이터가 제한될 때 일반화를 높인다.
• 실험은 42개 데이터셋을 다루며 Chronos 변형은 20M에서 710M 파라미터까지이며 추가로 GPT-2 기반 실험을 포함한다.
• 이 프레임워크는 다양한 도메인 데이터를 활용해 제로샷 정확도를 높일 수 있어 사전 학습된 모델을 예측 파이프라인을 단순화하는 도구로 위치시킨다.