[논문 리뷰] ForecastPFN: Synthetically-Trained Zero-Shot Forecasting

Samuel Dooley, Gurnoor Singh Khurana외 3명|arXiv (Cornell University)|2023. 11. 03.

Forecasting Techniques and Applications인용 수 7

한 줄 요약

ForecastPFN은 목표 시계열 데이터를 학습에 사용하지 않고도 한 번의 순전파로 정확한 예측을 달성하는 새로운 합성 데이터 분포를 이용한 제로샷 시계열 예측 모델입니다. 낮은 데이터/시간 예산에서 여러 최첨단 방법들을 능가하고, 매우 빠릅니다.

ABSTRACT

The vast majority of time-series forecasting approaches require a substantial training dataset. However, many real-life forecasting applications have very little initial observations, sometimes just 40 or fewer. Thus, the applicability of most forecasting methods is restricted in data-sparse commercial applications. While there is recent work in the setting of very limited initial data (so-called `zero-shot' forecasting), its performance is inconsistent depending on the data used for pretraining. In this work, we take a different approach and devise ForecastPFN, the first zero-shot forecasting model trained purely on a novel synthetic data distribution. ForecastPFN is a prior-data fitted network, trained to approximate Bayesian inference, which can make predictions on a new time series dataset in a single forward pass. Through extensive experiments, we show that zero-shot predictions made by ForecastPFN are more accurate and faster compared to state-of-the-art forecasting methods, even when the other methods are allowed to train on hundreds of additional in-distribution data points.

연구 동기 및 목표

• 데이터가 부족한 실제 환경에서 초기 관측치가 몇 개만 남은 상황에서 예측을 모티브로 삼는다.
• 합성 데이터만으로 학습하고 베이지안 추론에 근접한 제로샷 예측 모델을 제안한다.
• 임의의 미래 질의 예측이 가능한 유연한 Transformer 기반 PFN을 개발한다.
• 합성 선험지식 학습이 데이터가 많은 기준과 비교해 정확도와 속도에서 우수함을 보인다.
• 다양한 실제 데이터셋에서 견고성과 속도 우위를 보여준다.

제안 방법

• ForecastPFN을 도입한다: 프리어-데이터 적합 PFN으로서 새롭고 합성 시계열 선험지식에서 오프라인으로 학습된다.
• 다중 스케일 계절성, 선형/지수적 전역 추세, Weibull 기반의 곱노이즈를 갖춘 모듈형 합성 데이터 분포를 설계한다.
• (t, y_t) 토큰과 미래 날짜 질의를 입력으로 받아 단일 미래 예측을 생성하는 Transformer 기반 인코더를 설계한다.
• 트레이닝을 안정화하기 위해 강건한 스케일링과 정답 노이즈를 제거하는 손실을 적용한다.
• 각 시계열에 대해 101개의 예측 태스크를 생성하기 위해 sliding window로 300,000개 합성 시계열을 학습시키고, 600에폭에서 총 1,024,000개의 태스크를 수행한다.
• ForecastPFN은 단일 순전파로 임의의 미래 타임스텝을 예측하여 보지 않은 데이터셋에서도 진정한 제로샷 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 합성 데이터만으로 학습된 제로샷 예측 모델이 목표 시계열 데이터 없이도 실제 세계의 시계열에서 경쟁력 있는 정확성을 달성할 수 있는가?
• RQ2 합성 선험지식이 계절성, 추세, 잡음 등 다양한 시계열 패턴에 대해 일반화를 어떻게 가능하게 하는가? 실제 데이터 선험지식과 비교했을 때의 차이점은 무엇인가?
• RQ3 예측에서 제로샷, 가변 길이 미래 질의를 가장 잘 지원하는 구조적 설계 및 학습 선택은 무엇인가?
• RQ4 ForecastPFN이 제로샷 및 데이터 기반 예측 방법과 비교했을 때 데이터 및 시간 예산이 제약된 상황에서 어떤 성능 차이를 보이는가?
• RQ5 단일 패스 제로샷 추론의 속도와 견고성이 실제 예측 워크플로우에서 어떤 이점을 제공하는가?

주요 결과

알고리즘	ECL	ETTh1	ETTh2	Exchange	Illness	Traffic	Weather
Budget=50	Arima 1.840	Autoformer 1.289	FEDformer 0.683	ForecastPFN 1.075	Informer 1.252	Last 0.910	Mean 0.673	Meta-N-BEATS 0.909	Prophet 2.174	SeasonalNaive 0.453	Transformer 0.945
Budget=500	Arima 1.969	Autoformer 0.513	FEDformer 0.480	ForecastPFN 1.075	Informer 0.453	Last 0.910	Mean 0.673	Meta-N-BEATS 0.909	Prophet 15.668	SeasonalNaive 0.453	Transformer 0.541

• ForecastPFN은 대상 시계열 데이터를 관찰하지 않고도 여러 실제 데이터셋에서 강력한 제로샷 성능을 달성한다.
• 데이터 양이 많지 않고 시간 예산이 낮은 상황에서도 ForecastPFN은 최첨단 방법들을 능가하며 예산이 늘어날수록 경쟁력을 유지한다.
• ForecastPFN은 매우 빠르며 데이터셋당 약 0.2초 내에 예측을 생성한다(단일 순전파).
• 다른 제로샷 방법인 Meta-N-BEATS와 비교했을 때 ForecastPFN은 설정 전반에서 일관되게 상회한다.
• 다중 스케일 추세와 잡음이 포함된 합성 선험지식이 다양한 시계열 패턴으로의 일반화를 촉진한다.
• 작은 데이터 예산에서 대다수의 데이터셋에 대해 평균 MSE가 최저에 도달하는 경우가 많고, 예산이 커지더라도 성능이 견고하다.