[논문 리뷰] In-context Pre-trained Time-Series Foundation Models adapt to Unseen Tasks

Shangqing Xu, Harshavardhan Kamarthi외 2명|arXiv (Cornell University)|2026. 02. 23.

Machine Learning in Healthcare인용 수 0

한 줄 요약

ICTP가 시계열 사전 학습 데이터를 재작성하여 맥락 내 학습을 가능하게 하고, TSFMs가 미지의 작업에 대해 미세 조정 없이 적응하도록 하며 미지의 작업에서 약 11%의 성능 향상을 달성한다.

ABSTRACT

Time-series foundation models (TSFMs) have demonstrated strong generalization capabilities across diverse datasets and tasks. However, existing foundation models are typically pre-trained to enhance performance on specific tasks and often struggle to generalize to unseen tasks without fine-tuning. To address this limitation, we propose augmenting TSFMs with In-Context Learning (ICL) capabilities, enabling them to perform test-time inference by dynamically adapting to input-output relationships provided within the context. Our framework, In-Context Time-series Pre-training (ICTP), restructures the original pre-training data to equip the backbone TSFM with ICL capabilities, enabling adaptation to unseen tasks. Experiments demonstrate that ICT improves the performance of state-of-the-art TSFMs by approximately 11.4% on unseen tasks without requiring fine-tuning.

연구 동기 및 목표

• 미세 조정 없이 시계열 기초 모델(TSFMs)에서 다중 작업 적응의 필요성을 제기한다.
• TSFMs에 맥락 내 학습(ICL) 기능을 주입하기 위해 In-Context Time-series Pre-training(ICTP)를 제안한다.
• 다양한 데이터셋과 작업에 걸쳐 미지의 작업에서 ICTP가 성능을 향상시킨다는 것을 입증한다.
• 고찰 연구를 통해 ICTP가 언제, 왜 이득을 주는지 분석한다.

제안 방법

• 미세 조정 없이 TSFMs에 대한 다중 작업 적응을 정의한다.
• ICTP를 도입하여 데이터셋을 ICL 사전학습용 다중 작업 및 맥락 추종 형식으로 재구성한다.
• 동일 작업의 입력-출력 쌍을 이어붙여 맥락 시퀀스를 구성한다.
• ICTP 보강 데이터에서 백본 TSFM을 미세 조정하여 f_ICL을 얻는다.
• 여러 데이터셋과 백본에서 이미 보인 작업과 미지의 작업을 평가한다.
• ICTP 이득의 메커니즘을 이해하기 위해 제거 연구를 수행한다.

Figure 1. Similar to LLMs, existing TSFMs are pre-trained on single-task objectives using large-scale data. Yet, due to the inherent differences between time-series and language data, TSFMs are restricted to single-task adaptation. Instead, we propose In-Context Time-series Pre-training ( ICTP ), re

실험 결과

연구 질문

• RQ1 TSFMs가 ICTP 사전학습 후 미지의 작업에 대해 비미세 조정 다중 작업 적응을 달성할 수 있는가?
• RQ2 다양한 데이터셋과 백본에서 미지의 시계열 작업에 대한 성능을 ICTP가 향상시키는가?
• RQ3 ICTP의 데이터셋 설계 및 작업 커버리지가 미지의 작업에서의 이득에 어떻게 영향을 미치는가?

주요 결과

• ICTP는 백본 TSFM과 데이터셋 전반에 걸쳐 미지의 작업 성능을 크게 향상시키며(평균 향상 약 11%).
• 인코더 기반 TSFM이 디코더-전용 모델보다 미지의 작업에서 더 일관된 이득을 보이며, 특히 예보와 역예보 작업에서 그렇다.
• 데이터셋에 따라 성능 향상이 다르며, Exchange와 같은 단순 데이터셋은 작업 입력의 고유 분산으로 인해 향상 폭이 더 작다.
• Weather는 이미 일부 사전 학습에 포함되어 있지만 ICTP로부터 여전히 이득을 얻어 일반화 주장에 힘을 실어준다.
• 제거 연구는 ICTP의 효과가 명시적 다중 작업 사전학습과 맥락 기반 적응에 기인하며, 작업 특이적 미세 조정이 아님을 확인한다.