[论文解读] Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting

Kashif Rasul, Arjun Ashok+16 more|arXiv (Cornell University)|Oct 12, 2023

Stock Market Forecasting Methods被引用 32

一句话总结

Lag-Llama 是一个解码器式的 transformer 基础模型，用于单变量概率时间序列预测，在大规模、多样化语料上进行预训练；在未见数据集上展现出强大的零-shot 泛化能力和最先进的少量-shot 微调性能。

ABSTRACT

Over the past years, foundation models have caused a paradigm shift in machine learning due to their unprecedented capabilities for zero-shot and few-shot generalization. However, despite the success of foundation models in modalities such as natural language processing and computer vision, the development of foundation models for time series forecasting has lagged behind. We present Lag-Llama, a general-purpose foundation model for univariate probabilistic time series forecasting based on a decoder-only transformer architecture that uses lags as covariates. Lag-Llama is pretrained on a large corpus of diverse time series data from several domains, and demonstrates strong zero-shot generalization capabilities compared to a wide range of forecasting models on downstream datasets across domains. Moreover, when fine-tuned on relatively small fractions of such previously unseen datasets, Lag-Llama achieves state-of-the-art performance, outperforming prior deep learning approaches, emerging as the best general-purpose model on average. Lag-Llama serves as a strong contender to the current state-of-art in time series forecasting and paves the way for future advancements in foundation models tailored to time series data.

研究动机与目标

• 推动在概率时间序列预测中使用基础模型，以实现跨多样领域的零-shot 与少-shot 转移。
• 开发一个简单、可扩展的架构，在解码器仅有的 transformer 中使用滞后协变量。
• 在大规模、多样化的一元时间序列语料库上进行预训练，以研究在频率和领域上的泛化能力。
• 在未见的下游数据集上对比强基线，评估零-shot、微调和少-shot 适应性。

提出的方法

• 使用解码器为主的 transformer（受 LLaMA 启发），结合基于滞后的标记化和协变量。
• 从预设的一组滞后索引和日期时间协变量构建滞后特征。
• 通过分布头训练，使模型输出概率分布参数（Student's t 分布）。
• 应用鲁棒标准化（中位数和四分位距），并使用每个序列的汇总协变量（均值、标准差）进行缩放。
• 在六个领域的7,965条时间序列（约3.52亿窗口）上进行预训练；在未见数据集上进行微调，并基于验证损失进行提前停止。
• 通过自回归采样生成预测分布并计算 CRPS 进行评估；报告零-shot 和少-shot 性能。

实验结果

研究问题

• RQ1 在未进行任何下游微调（零-shot）的情况下，基于多样时间序列预训练的基础模型能在未见数据集上泛化到何种程度？
• RQ2 在未见数据集上进行微调后，Lag-Llama 的性能达到何种水平，与数据集特定模型及其他通用模型相比如何？
• RQ3 当来自新领域的历史数据有限时，Lag-Llama 能否在少-shot 情况下有效适应？
• RQ4 预训练语料的多样性与规模如何影响 Lag-Llama 的预测性能和扩展性？

主要发现

• Lag-Llama 在未见数据集上实现具有竞争力的零-shot 性能（跨数据集的平均 CRPS 排名为 6.714）。
• 对 Lag-Llama 进行微调在若干数据集上达到最先进的性能，并在所比较方法中获得最佳平均秩序（2.786）。
• 作为在多样数据上从头预训练的强大通用模型，Lag-Llama 比包括 Informer、AutoFormer、ETSFormer 在内的许多基线表现更优。
• 在具有变化历史长度（20%–80%）的少-shot 设置中，Lag-Llama 始终提供强大的适应性，常常超过基线，且历史越多，性能越好。
• Lag-Llama 能处理未见的频率和领域，在某些领域（例如汇率）具有可比的零-shot 性能，微调后接近 SOTA 的性能。