[论文解读] Chronos: Learning the Language of Time Series

Abdul Fatir Ansari, Lorenzo Stella+16 more|arXiv (Cornell University)|Mar 12, 2024

Time Series Analysis and Forecasting被引用 51

一句话总结

Chronos 预训练的概率时间序列模型将实值序列分词成一个固定词汇表，并训练标准 Transformer 语言模型，在42个数据集上实现了强烈的领域内和零样本预测。

ABSTRACT

We introduce Chronos, a simple yet effective framework for pretrained probabilistic time series models. Chronos tokenizes time series values using scaling and quantization into a fixed vocabulary and trains existing transformer-based language model architectures on these tokenized time series via the cross-entropy loss. We pretrained Chronos models based on the T5 family (ranging from 20M to 710M parameters) on a large collection of publicly available datasets, complemented by a synthetic dataset that we generated via Gaussian processes to improve generalization. In a comprehensive benchmark consisting of 42 datasets, and comprising both classical local models and deep learning methods, we show that Chronos models: (a) significantly outperform other methods on datasets that were part of the training corpus; and (b) have comparable and occasionally superior zero-shot performance on new datasets, relative to methods that were trained specifically on them. Our results demonstrate that Chronos models can leverage time series data from diverse domains to improve zero-shot accuracy on unseen forecasting tasks, positioning pretrained models as a viable tool to greatly simplify forecasting pipelines.

研究动机与目标

• 激发一个通用的、可利用多样时间序列数据的预训练预测模型的需求。
• 提出通过分词和标准语言模型训练实现对时间序列的最小作用适配。
• 通过合成数据和混合模式的数据增强来提升训练多样性，以改善泛化能力。
• 在广泛的基准测试中展示强大的领域内和零样本预测性能。

提出的方法

• 通过简单缩放和均匀量化将时间序列数值分词成一个固定词汇表。
• 在分词后的序列上使用交叉熵训练现成的编码器-解码器或解码器为主的 Transformer 模型（例如 T5 变体、GPT-2）。
• 将观测建模为类别分布，并通过分类进行回归（概率预测）。
• 自回归采样令牌预测，并通过去量化步骤映射回实数值，以获得预测分布。
• 通过 TSMix（跨数据集的时间序列混合）和 KernelSynth（基于 GP 的合成时间序列）来增强训练以提高鲁棒性。
• 在未见数据集上进行测试以评估零样本性能，而无需任务特定的微调。

实验结果

研究问题

• RQ1 在令牌化时间序列上训练的基于语言模型的框架，是否能够在跨域提供具有竞争力的概率预测？
• RQ2 预训练的 Chronos 模型在未见数据集上是否具备强大的零样本预测能力？
• RQ3 哪些设计选择（模型规模、分词、数据增强）对领域内和零样本性能影响最大？

主要发现

• Chronos 模型在训练语料中包含的数据集上显著超越基线。
• Chronos 在新数据集上的零样本性能与专门对其训练的模型相比，达到相当甚至更优。
• 使用简单的分词和标准 LM 架构，Chronos 通过对固定词汇表的采样提供概率预测。
• 数据增强（TSMix 和 KernelSynth）在训练数据有限时提升泛化能力。
• 实验覆盖 42 个数据集，Chronos 的变体参数量从 20M 到 710M，并有额外的基于 GPT-2 的实验。
• 该框架能够利用多样化的领域数据提高零样本准确性，将预训练模型定位为简化预测管道的工具。