[论文解读] MOMENT: A Family of Open Time-series Foundation Models

Mononito Goswami, Konrad Szafer+4 more|arXiv (Cornell University)|Feb 6, 2024

Time Series Analysis and Forecasting被引用 24

一句话总结

MOMENT 提供了基于开源 Transformer 的时间序列基础模型，在 Time-series Pile 上通过掩码时间序列建模进行训练，使在资源有限的设置下实现零-shot 和少-shot 的预测、分类、异常检测和插补等任务的性能。

ABSTRACT

We introduce MOMENT, a family of open-source foundation models for general-purpose time series analysis. Pre-training large models on time series data is challenging due to (1) the absence of a large and cohesive public time series repository, and (2) diverse time series characteristics which make multi-dataset training onerous. Additionally, (3) experimental benchmarks to evaluate these models, especially in scenarios with limited resources, time, and supervision, are still in their nascent stages. To address these challenges, we compile a large and diverse collection of public time series, called the Time series Pile, and systematically tackle time series-specific challenges to unlock large-scale multi-dataset pre-training. Finally, we build on recent work to design a benchmark to evaluate time series foundation models on diverse tasks and datasets in limited supervision settings. Experiments on this benchmark demonstrate the effectiveness of our pre-trained models with minimal data and task-specific fine-tuning. Finally, we present several interesting empirical observations about large pre-trained time series models. Pre-trained models (AutonLab/MOMENT-1-large) and Time Series Pile (AutonLab/Timeseries-PILE) are available on Huggingface.

研究动机与目标

• 以开放的基础模型激发并推动通用时间序列分析的能力。
• 创建一个大型且多样化的时间序列预训练语料库（Time-series Pile），以支持多数据集的预训练。
• 在有限监督设置下评估 MOMENT 在多任务上的表现，以确立其实用性。
• 研究 MOMENT 学到的时间结构以及模型规模如何影响性能。

提出的方法

• 将 MOMENT 构建为在单变量时间序列上以固定长度分块运行的高容量 Transformer。
• 使用带可学习 [MASK] 嵌入的掩码时间序列建模进行预训练，以替换被掩蔽的分块。
• 使用可逆实例归一化来统一多样时间序列的分布。
• 使用任务特定头进行微调（大多数任务使用重构头；预测任务使用预测头），并允许线性探测或零样本设置。
• 从多种公开数据集中收集合成 Time-series Pile，进行小心的训练/验证/测试划分，以支持不重叠的预训练。
• 在覆盖长短期预测、分类、异常检测和插补的多任务基准上，在有限监督下进行评估。

Figure 1: MOMENT can solve multiple time-series analysis tasks well (App. D ).

实验结果

研究问题

• RQ1 RQ1：在有限监督设置中，MOMENT 是否对多任务时间序列分析有效？
• RQ2 RQ2：MOMENT 是否捕捉到时间序列的直观特征，如频率、趋势和振幅？
• RQ3 RQ3：模型规模如何影响性能，MOMENT 是否实现跨模态迁移学习？
• RQ4 RQ4：零-shot 与线性探针的表现与跨数据集的任务特定基线相比如何？

主要发现

• 在有限监督设置下，MOMENT 在多项任务上获得具有竞争力或接近 SOTA 的结果。
• 零-shot短期预测相对于若干基线显示显著提升，但在某些数据集上仍相对于一些传统统计方法具有挑战。
• MOMENT 表征可以捕捉趋势、振幅、频率和相位信息，并且在无监督分类中能够区分不同类别。
• 增加模型规模可以改善训练损失，表明具有类似于语言建模范式的可扩展性收益。
• 使用 MOMENT 的线性探测在预测和插补任务上通常表现出色，凸显其作为可复用时间序列骨干的作用。

Figure 2: Time-series Pile data splits . To prevent data contamination, we carefully partition all datasets into disjoint train, validation, and test splits. We adhere to the predefined splits provided by the creators of each dataset. In cases where such splits are unavailable, we randomly sample 60