[論文レビュー] In-context Pre-trained Time-Series Foundation Models adapt to Unseen Tasks

Shangqing Xu, Harshavardhan Kamarthi+2 more|arXiv (Cornell University)|Feb 23, 2026

Machine Learning in Healthcare被引用数 0

ひとこと要約

ICTPは時系列の事前学習データを再構成してインコンテキスト学習を可能にし、TSFMがファインチューニングなしで未知タスクへ適応できるようにし、未知タスクでの性能を約11%向上させる。

ABSTRACT

Time-series foundation models (TSFMs) have demonstrated strong generalization capabilities across diverse datasets and tasks. However, existing foundation models are typically pre-trained to enhance performance on specific tasks and often struggle to generalize to unseen tasks without fine-tuning. To address this limitation, we propose augmenting TSFMs with In-Context Learning (ICL) capabilities, enabling them to perform test-time inference by dynamically adapting to input-output relationships provided within the context. Our framework, In-Context Time-series Pre-training (ICTP), restructures the original pre-training data to equip the backbone TSFM with ICL capabilities, enabling adaptation to unseen tasks. Experiments demonstrate that ICT improves the performance of state-of-the-art TSFMs by approximately 11.4% on unseen tasks without requiring fine-tuning.

研究の動機と目的

• ファインチューニングなしで時系列基盤モデル（TSFM）のマルチタスク適応の必要性を動機づける。
• TSFMにインコンテキスト学習（ICL）機能を付与するためのIn-Context Time-series Pre-training（ICTP）を提案する。
• ICTPが多様なデータセットとタスクを横断して未知タスクの性能を向上させることを示す。
• アブレーション研究を通じてICTPの利得が生じる時期と理由を分析する。

提案手法

• ファインチューニングなしのTSFMのマルチタスク適応を定義する。
• ICTPを導入してデータセットをICL事前学習のマルチタスク・文脈追従形式に再構成する。
• 同一タスクの入力–出力ペアを結合して文脈シーケンスを構築する。）
• ICTP拡張データでバックボーンTSFMをファインチューニングしてf_ICLを得る。
• 複数データセットとバックボーンにわたり、見た目タスクと未知タスクを評価する。
• ICTPの利得の機構を理解するためのアブレーションを実施する。

Figure 1. Similar to LLMs, existing TSFMs are pre-trained on single-task objectives using large-scale data. Yet, due to the inherent differences between time-series and language data, TSFMs are restricted to single-task adaptation. Instead, we propose In-Context Time-series Pre-training ( ICTP ), re

実験結果

リサーチクエスチョン

• RQ1 ICTP事前学習後、TSFMは未知タスクへ非ファインチューニングのマルチタスク適応を達成できるか。
• RQ2 ICTPは多様なデータセットとバックボーンにわたり未知の時系列タスクの性能を改善するか。
• RQ3 データセット設計とICTPにおけるタスクカバレッジは未知タスクでの利得にどのように影響するか。

主な発見

• ICTPはバックボーンTSFMとデータセット全体で未知タスクの性能を大幅に向上させる（平均約11%の改善）。
• エンコーダベースのTSFMはデコーダのみのモデルより未知タスクで一貫した利得を示し、特に予測・後向き予測タスクで顕著。
• データセットによって利得は異なり、Exchangeのような単純なデータセットでは入力タスクの変動性により改善が小さい。
• Weatherはすでに一部の事前学習に存在していたが、ICTPは依然として利益をもたらし、一般化の主張を支持する。
• アブレーション研究はICTPの有効性がタスク固有のファインチューニングではなく、明示的なマルチタスク事前学習と文脈ベースの適応に起因することを確認する。