[论文解读] TimeGPT-1

Azul Garza, Challu, Cristian+1 more|arXiv (Cornell University)|Oct 5, 2023

Time Series Analysis and Forecasting被引用 23

一句话总结

TimeGPT 是首个用于时间序列预测的预训练基础模型，能够在多样数据集上进行零-shot预测并超过多种基线。

ABSTRACT

In this paper, we introduce TimeGPT, the first foundation model for time series, capable of generating accurate predictions for diverse datasets not seen during training. We evaluate our pre-trained model against established statistical, machine learning, and deep learning methods, demonstrating that TimeGPT zero-shot inference excels in performance, efficiency, and simplicity. Our study provides compelling evidence that insights from other domains of artificial intelligence can be effectively applied to time series analysis. We conclude that large-scale time series models offer an exciting opportunity to democratize access to precise predictions and reduce uncertainty by leveraging the capabilities of contemporary advancements in deep learning.

研究动机与目标

• 证明一个用于时间序列预测的基础模型的可行性，该模型能泛化到未见数据集。
• 表明使用 TimeGPT 的零-shot 推断可在传统统计和深度学习基线之上实现更好表现。
• 评估预训练时间序列模型相对于端到端训练流程在效率与简化方面的优势。

提出的方法

• 基于 Transformer 的 TimeGPT，采用编码器-解码器结构和局部位置编码。
• 在覆盖多领域的公开可获取的时间序列集合（超过1,000亿数据点）上进行训练。
• 通过对大规模测试集（超过30万序列）在多种频率（月度、周度、日度、小时度）上的零-shot预测进行评估。
• 通过保形预测进行不确定性量化，以在不强分布假设下产生预测区间。
• 与统计、机器学习和神经网络预测基线进行比较。
• 讨论训练细节、推理速度以及潜在的微调收益。

实验结果

研究问题

• RQ1 单一的预训练 TimeGPT 模型是否能在无需额外训练的情况下预测跨多领域的未见时间序列？
• RQ2 TimeGPT 在不同频率上的零-shot 推断相对于统计、机器学习和深度学习基线的表现如何？
• RQ3 将 TimeGPT 部署为预测基础模型所带来的效率提升（推理速度）及实际意义是什么？
• RQ4 在部分时间序列上对 TimeGPT 进行微调的影响？
• RQ5 在该设置中通过保形预测得到的不确定性估计有多可靠？

主要发现

• TimeGPT 在零-shot预测中跨各频率达到前3的表现，相较于广泛基线集合。
• TimeGPT 推理极快（平均每个序列 0.6 ms），比传统基于训练的流程快数个数量级。
• 在非常大且多样化的数据集上训练，使模型能够对未见序列进行泛化，无需重新训练。
• 在部分序列上对 TimeGPT 进行微调，相对于零-shot结果提升准确性。
• 保形预测在不强分布假设下提供不确定性区间，有助于风险评估。