[논문 리뷰] Diversified Scaling Inference in Time Series Foundation Models

Ruijin Hua, Zichuan Liu외 2명|arXiv (Cornell University)|2026. 01. 24.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

이 논문은 추론 시 다양화(교란된 입력 및 집계)가 재학습 없이 TSFM 예측을 개선할 수 있는지 연구하고, 고정 예산 하에서 여유를 정량화하기 위해 RobustMSE를 도입한다.

ABSTRACT

The advancement of Time Series Foundation Models (TSFMs) has been driven primarily by large-scale pre-training, but inference-time compute potential remains largely untapped. This work systematically investigates two questions: how do TSFMs behave under standard sampling-based inference scaling, and can controlled sampling diversity enhance performance? We first examine the properties of TSFMs under standard sampling often fail to adhere to scaling laws due to insufficient exploration of the solution space. Building on this, we then delve into diversified inference scaling via tailored time series perturbations to expand the generative distribution's support. We theoretically analyze the diversity-fidelity trade-off and derive a critical sample threshold for diversified sampling to outperform standard sampling. Extensive experiments across various TSFMs and datasets show proper diversified inference scaling yields substantial performance gains without parameter updates, establishing inference design as a critical, compute-efficient dimension of TSFM optimization. As an application, we propose RobustMSE, a rigorous metric to quantify the headroom performance of TSFM under a fixed budget. Overall, our findings clarify these factor interactions, enabling reliable performance via diverse large-scale inference time series in parallel environments without re-training TSFMs.

연구 동기 및 목표

• Time Series Foundation Models(TSFMs)에서 추론 시 컴퓨트의 필요성과 특성을 동기 부여하고 규명한다.
• 모델 크기, 맥락 길이, 그리고 디코딩 전략이 TSFMs의 추론 확장성에 어떤 영향을 미치는지 조사한다.
• 입력 교란을 통한 다양화 샘플링을 개발하고 평가하여 예측 지지 범위를 확장한다.
• 충실도–다양성 트레이드오프를 이론적으로 분석하고 다양화를 위한 임계 샘플 임계치(N*)를 식별한다.
• 고정된 추론 예산 하에서 여유를 정량하기 위한 지표로 RobustMSE를 제안한다.

제안 방법

• TimesFM, Chronos, Time-MoE, Moirai 등 TSFMs과 다양한 데이터세트(ETTh1, ETt m1, Electricity, Traffic)에 대한 추론 시 확장성의 모델 및 데이터세트 독립적 평가.
• 여러 샘플의 집계기로 Exact Match(EM)와 Majority Voting(MV)을 포함한 샘플링 전략을 정의한다.
• 입력에 대한 교란을 통한 다양화 샘플링을 도입한다(태스크 비특이적 및 태스크 특이적) 그리고 이들의 이론적 이점과 트레이드오프를 분석한다.
• 다양화가 표준 샘플링보다 최소 손실을 엄밀히 개선하는 시점을 보이는 점근적 및 유한 샘플 분석을 제공한다.
• 증거에 기반한 교란을 식별하고 다양화 샘플링이 표준 샘플링을 능가하는 조건을 설정한다.

실험 결과

연구 질문

• RQ1 TSFMs는 대형 모델에서의 학습 시점 확장 법칙과 유사한 추론 시 확장 행동을 보이는가?
• RQ2 다양화된 추론 샘플링이 예측 분포의 유효 지지 범위를 확장하고 고정 예산 하에서 정확도를 향상시키는가?
• RQ3 다양화 샘플링의 충실도–다양성 트레이드오프는 무엇이며 그것이 필요한 샘플 예산에 어떤 영향을 주는가?
• RQ4 다양화된 추론 하에서 TSFMs의 여유를 정량화하는 견고하고 예산 의식이 있는 지표(RobustMSE)가 있는가?

주요 결과

• TSFMs의 추론 확장은 더 많은 샘플로 개선을 얻지만 단순한 로그 법칙 확장을 따르지 않는 경우가 많다; 더 큰 모델이 항상 더 좋지는 않으며 맥락 길이만으로 항상 단조로운 이득을 보장하지 않는다.
• 다양화 샘플링은 예측 지지 범위를 확장하고 충분한 샘플이 있으면 표준 샘플링보다 우수할 수 있으며, 다만 perturbation의 관련성 및 충실도에 따라 효과가 달라진다.
• 다양화 샘플링이 기대값에서 표준 샘플링을 능가하는 임계 샘플 임계치 N*가 존재하며 이는 위험-보상의 트레이드오프를 강조한다.
• 태스크 비특이적 교란은 효과에 차이가 있으며 일부는 해롭고 버려진다. 높은 관련성(좁은 구간의 코사인 유사도)을 가진 교란을 선택할 필요가 있음을 보여준다.
• 고정 예산 여유 지표로서 RobustMSE를 사용하면 TSFMs가 다양화 샘플링을 활용해 예측 오차를 줄일 수 있으며, TimesFM 이 다양한 시나리오에서 종종 가장 낮은 RobustMSE를 달성한다.