[논문 리뷰] Shapelets-Enriched Selective Forecasting using Time Series Foundation Models

Shivani Tomar, Seshu Tirupathi외 2명|arXiv (Cornell University)|2026. 01. 16.

Traffic Prediction and Management Techniques인용 수 0

한 줄 요약

선택적 예측 프레임워크는 검증 데이터에서 학습된 shapelet를 이용해 신뢰할 수 없는 예측을 제거하고, 여러 벤치마크에서 예측 정확도를 향상시킵니다.

ABSTRACT

Time series foundation models have recently gained a lot of attention due to their ability to model complex time series data encompassing different domains including traffic, energy, and weather. Although they exhibit strong average zero-shot performance on forecasting tasks, their predictions on certain critical regions of the data are not always reliable, limiting their usability in real-world applications, especially when data exhibits unique trends. In this paper, we propose a selective forecasting framework to identify these critical segments of time series using shapelets. We learn shapelets using shift-invariant dictionary learning on the validation split of the target domain dataset. Utilizing distance-based similarity to these shapelets, we facilitate the user to selectively discard unreliable predictions and be informed of the model's realistic capabilities. Empirical results on diverse benchmark time series datasets demonstrate that our approach leveraging both zero-shot and full-shot fine-tuned models reduces the overall error by an average of 22.17% for zero-shot and 22.62% for full-shot fine-tuned model. Furthermore, our approach using zero-shot and full-shot fine-tuned models, also outperforms its random selection counterparts by up to 21.41% and 21.43% on one of the datasets.

연구 동기 및 목표

• 시간 시계열 예측에서 높은 오차 구간을 식별하고 제거함으로써 신뢰 가능한 예측을 확보한다.
• 기초 모델 재학습 없이 선택적 예측을 안내하기 위해 shapelet 기반 패턴을 활용한다.
• 다양한 데이터세트에서 제로샷 및 풀샷 미세조정 TSFM에서 선택적 예측의 성능 향상을 입증한다.

제안 방법

• 대상 데이터를 train/validation/test로 분할하고 검증 세트에서 제로샷 예측을 생성한다.
• 고오차 검증 샘플로부터 시프트 불변의 shapelet를 학습하기 위해 딕셔너리 학습을 사용한다.
• 테스트 샘플과 학습된 shapelet 간의 z-정규화 유클리드 거리를 계산하여 버릴 샘플을 선택한다.
• Baseline FFT 모델로써 train 세트에서 경량 TSFM(Tiny Time Mixer)을 미세조정한다.
• 사용자 정의 드롭 비율로 버리기 규칙을 적용하여 선택적 예측을 생성한다.
• MSE로 평가하고 제로샷, 풀샷 FFT, 무작위 선택 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 shapelet-가이드 선택적 예측이 TSFM의 신뢰할 수 없는 예측을 식별하고 버릴 수 있는가?
• RQ2 제로샷 및 풀샷 TSFM이 다양한 데이터세트에서 MSE 감소 측면에서 선택적 예측으로 이득을 얻는가?
• RQ3 shapelet 기반 버리기가 여러 시계열 도메인에서 무작위 버리기 베이스라인과 어떻게 비교되는가?

주요 결과

데이터세트	제로샷(ZS) MSE	풀샷 미세조정(FFT) MSE	무작위 선택(ZS) MSE	무작위 선택(FFT) MSE	선택적 예측(ZS) MSE	선택적 예측(FFT) MSE
ETTh1	0.0524	0.0512	0.0418	0.0408	0.0439	0.0443
ETTh2	0.1306	0.1304	0.1038	0.1039	0.1002	0.0992
ETTm1	0.0275	0.0264	0.0220	0.0221	0.0221	0.0215
ETTm2	0.0765	0.0646	0.0615	0.0518	0.0644	0.0555
Exchange rate	0.0790	0.0776	0.0626	0.0616	0.0492	0.0484
Traffic	0.1766	0.1173	0.1412	0.0936	0.1407	0.0933

• shapelet을 이용한 선택적 예측은 6개 데이터세트 중 4개에서 MSE를 감소시키고 평균 개선은 (ZS) 22.17%, (FFT) 22.62%이다.
• 이 방법은 최소 한 데이터세트에서 무작위 선택 베이스라인보다 최대 21.41%(ZS) 및 21.43%(FFT)만큼 더 우수하다.
• Shapelet은 높은 예측 오차와 관련된 대표적 패턴을 포착하여 문제 샘플의 선택적 버리기를 가능하게 한다.
• 거리 기반 유사도(z-정규화 유클리드)가 shapelet과의 테스트 샘플 간의 효과적 샘플 거부를 이끈다.
• 드롭 비율 20%와 delta=2를 사용하면 여러 데이터세트(ETTh1, ETTh2, ETTm1, ETTm2, Exchange Rate, Traffic)에서 강건한 이익이 나타난다.
• 아블레이션 결과 더 높은 임계값은 shapelet 다양성을 감소시키지만 일부 경우 드롭 비율이 증가할 때 MSE가 단조롭게 감소하는 것을 보였다.