[论文解读] In-context Pre-trained Time-Series Foundation Models adapt to Unseen Tasks

Shangqing Xu, Harshavardhan Kamarthi+2 more|arXiv (Cornell University)|Feb 23, 2026

Machine Learning in Healthcare被引用 0

一句话总结

ICTP 重写时间序列预训练数据以实现上下文学习，使 TSFM 能在不进行微调的情况下适应未见任务，并在未见任务上的表现提升约 11%。

ABSTRACT

Time-series foundation models (TSFMs) have demonstrated strong generalization capabilities across diverse datasets and tasks. However, existing foundation models are typically pre-trained to enhance performance on specific tasks and often struggle to generalize to unseen tasks without fine-tuning. To address this limitation, we propose augmenting TSFMs with In-Context Learning (ICL) capabilities, enabling them to perform test-time inference by dynamically adapting to input-output relationships provided within the context. Our framework, In-Context Time-series Pre-training (ICTP), restructures the original pre-training data to equip the backbone TSFM with ICL capabilities, enabling adaptation to unseen tasks. Experiments demonstrate that ICT improves the performance of state-of-the-art TSFMs by approximately 11.4% on unseen tasks without requiring fine-tuning.

研究动机与目标

• 在无需微调的前提下，说明多任务自适应对时间序列基础模型（TSFMs）的必要性。
• 提出上下文时间序列预训练（ICTP），以在 TSFMs 中灌输上下文学习（ICL）能力。
• 证明 ICTP 在不同数据集和任务上提升对未见任务的表现。
• 通过消融研究分析 ICTP 提升的时机与原因。

提出的方法

• 将 TSFMs 的多任务自适应定义为无需微调。
• 引入 ICTP，将数据集改造成多任务、追随上下文的格式，以用于 ICL 预训练。
• 通过拼接同一任务的输入-输出对来构建上下文序列。
• 在 ICTP 增强数据上对骨干网络 TSFM 进行微调，得到 f_ICL。
• 在多数据集和不同骨干上评估看见任务和未见任务的表现。
• 进行消融以理解 ICTP 增益的机制。

Figure 1. Similar to LLMs, existing TSFMs are pre-trained on single-task objectives using large-scale data. Yet, due to the inherent differences between time-series and language data, TSFMs are restricted to single-task adaptation. Instead, we propose In-Context Time-series Pre-training ( ICTP ), re

实验结果

研究问题

• RQ1 在 ICTP 预训练后，TSFMs 是否能够在未见任务上实现无需微调的多任务自适应？
• RQ2 ICTP 是否在不同数据集和骨干上提升未见时间序列任务的表现？
• RQ3 数据集设计与 ICTP 中任务覆盖如何影响未见任务的增益？

主要发现

• ICTP 在不同骨干 TSFM 与数据集上显著提升未见任务的表现（平均提升约 11%）。
• 基于编码器的 TSFM 相较于仅解码器的模型在未见任务上表现更具一致性提升，尤其在预测和回推（backcasting）任务上。
• 不同数据集的表现增益不同，像 Exchange 这样的简单数据集因任务输入本身的方差而提升较小。
• Weather 已在某些预训练中出现，但在 ICTP 下仍受益，支持其泛化性。
• 消融研究证实 ICTP 的有效性归因于显式的多任务预训练和基于上下文的自适应，而非针对某一任务的微调。