[논문 리뷰] The impact of data set similarity and diversity on transfer learning success in time series forecasting

Claudia Ehrig, Sonnleitner, Benedikt외 3명|arXiv (Cornell University)|2024. 04. 09.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

이 연구는 사전 훈련된 DeepAR 모델을 사용한 시계열 예측에서 원천-대상 데이터셋 유사성과 원천 데이터의 다양성이 전이 학습 성능에 미치는 영향을 조사한다. 높은 유사성은 제로샷 정확도를 향상시키고 편향을 감소시키지만, 더 높은 다양성은 불확실성 추정과 정확도를 향상시킨다—특히 제로샷 설정에서 성능 향상이 두드러지며, 특징 기반 측정법이 형태 기반 측정법보다 더 우수한 성능을 보인다.

ABSTRACT

Pre-trained models have become pivotal in enhancing the efficiency and accuracy of time series forecasting on target data sets by leveraging transfer learning. While benchmarks validate the performance of model generalization on various target data sets, there is no structured research providing similarity and diversity measures to explain which characteristics of source and target data lead to transfer learning success. Our study pioneers in systematically evaluating the impact of source-target similarity and source diversity on zero-shot and fine-tuned forecasting outcomes in terms of accuracy, bias, and uncertainty estimation. We investigate these dynamics using pre-trained neural networks across five public source datasets, applied to forecasting five target data sets, including real-world wholesales data. We identify two feature-based similarity and diversity measures, finding that source-target similarity reduces forecasting bias, while source diversity improves forecasting accuracy and uncertainty estimation, but increases the bias.

연구 동기 및 목표

• 원천-대상 유사성과 원천 데이터 다양성이 시계열 예측에서 전이 학습 성공에 미치는 영향을 체계적으로 평가하는 것.
• 특징 기반 유사성과 다양성으로 측정된 데이터셋 특성 중에서 제로샷 및 피지테이닝 설정에서 더 나은 예측 성능을 예측할 수 있는 특성 식별하기.
• 특도 기반 사전 훈련이 없는 상황에서 유사하거나 다양한 원천 데이터셋을 선택하는 것이 효과적임을 실증적으로 입증하는 것.
• 형태 기반 또는 특수한 유사성 측정법에 의존하지 않고 측정 가능한 특징 기반 지표를 사용하여 전이 학습 성공을 평가하는 프레임워크 수립하기.

제안 방법

• 다양한 도메인의 다섯 개인 공개 시계열 데이터셋에 대해 DeepAR 모델을 사전 훈련하였으며, 작은 기초 모델을 시뮬레이션하기 위해 '멀티소스' 모델을 통합하였다.
• 실제 도매 유통 데이터를 포함한 다섯 개의 타겟 데이터셋에 대해 사전 훈련된 모델을 제로샷 및 피지테이닝 예측 설정에서 적용하였다.
• tsfresh 및 catch22 특징을 사용하여 원천-대상 유사성과 원천 다양성을 정량화하기 위해 두 가지 특징 기반 유사성 측정법을 계산하였다.
• 원천 다양성을 데이터셋 내 시간열 특징의 분산으로 정의하고, 해석 가능성을 높이기 위해 잠재 주성분 분석(PCA) 공간에서 시각화하였다.
• 정확도, 편향, 불확실성 추정, 훈련 시간을 포함한 지표를 사용하여 ETS와의 벤치마킹을 수행하였다.
• 비교를 위해 형태 기반 유사성 측정법으로 동적 시간 왜곡(DTW)을 사용하였지만, 유의미한 상관관계는 발견되지 않았다.

Figure 1: Zero-shot/scratch (red circles) and fine-tuned (blue circles) accuracy in AvgRelRMSE (see Eq. 1 ) per source model across the five target data sets.

실험 결과

연구 질문

• RQ1 특징 공간에서의 원천-대상 유사성이 제로샷 및 피지테이닝 예측 정확도와 편향에 어떤 영향을 미치는가?
• RQ2 특징 분산으로 측정된 원천 데이터 다양성이 전이 학습에서 예측 정확도와 불확실성 추정에 어떤 영향을 미치는가?
• RQ3 DTW와 같은 형태 기반 유사성 측정법이 전이 학습 성능와 상관관계가 있는가, 아니면 특징 기반 측정법이 더 예측력이 강한가?
• RQ4 제로샷과 피지테이닝 설정 간에 유사성/다양성과 예측 성능 간의 관계는 어떻게 다를까?
• RQ5 특징 기반 유사성 및 다양성 측정법이 새로운 예측 응용 분야에서 최적의 원천 데이터셋을 선별하는 데 도움이 될 수 있는가?

주요 결과

• tsfresh 특징에서의 높은 원천-대상 유사성은 제로샷 예측 정확도를 크게 향상시키고 편향을 감소시키며, 이 효과는 피지테이닝 설정보다 제로샷 설정에서 더 두드러진다.
• catch22 특징에서의 높은 원천 다양성은 제로샷 정확도를 향상시키고 더 신뢰할 수 있는 불확실성 추정을 가능하게 하지만, 동일한 설정에서 편향을 증가시킨다.
• tsfresh 특징에서의 원천 다양성은 제로샷 편향을 증가시키며, 이는 모든 성능 측정 항목에서 일관된 향상을 가져오지 못함을 시사한다.
• 유사성, 다양성과 성능 간의 관계는 피지테이닝 설정에서는 훨씬 약해지며, 이는 모델 적응이 원천 데이터 특성의 영향을 감소시키기 때문이다.
• DTW 기반 형태 유사성은 예측 성능와 유의미한 상관관계가 없었으며, 이는 전이 학습 성공 예측에 있어 형태 기반 측정법보다 특징 기반 측정법이 더 정보가 많다는 것을 시사한다.
• 이 연구는 기존의 전이 학습 전략인 유사한 원천 데이터셋 또는 매우 다양한 원천 데이터셋을 선택하는 방식을 지지하며, 특징 기반 측정법이 실질적인 데이터셋 선별 기준이 될 수 있음을 제시한다.

(a) Sources Tsfresh