[論文レビュー] The impact of data set similarity and diversity on transfer learning success in time series forecasting

Claudia Ehrig, Sonnleitner, Benedikt+3 more|arXiv (Cornell University)|Apr 9, 2024

Forecasting Techniques and Applications被引用数 4

ひとこと要約

本研究は、事前学習されたDeepARモデルを用いた時系列予測における転移学習のパフォーマンスに、ソース・ターゲットデータセットの類似性とソースデータの多様性が与える影響を調査する。類似性が高いほどゼロショット精度が向上しバイアスが低下する一方、多様性が高いほど不確実性推定と精度が向上する。特にゼロショット設定において顕著であり、特徴量ベースの測定値が形状ベースの測定値を上回ることが判明した。

ABSTRACT

Pre-trained models have become pivotal in enhancing the efficiency and accuracy of time series forecasting on target data sets by leveraging transfer learning. While benchmarks validate the performance of model generalization on various target data sets, there is no structured research providing similarity and diversity measures to explain which characteristics of source and target data lead to transfer learning success. Our study pioneers in systematically evaluating the impact of source-target similarity and source diversity on zero-shot and fine-tuned forecasting outcomes in terms of accuracy, bias, and uncertainty estimation. We investigate these dynamics using pre-trained neural networks across five public source datasets, applied to forecasting five target data sets, including real-world wholesales data. We identify two feature-based similarity and diversity measures, finding that source-target similarity reduces forecasting bias, while source diversity improves forecasting accuracy and uncertainty estimation, but increases the bias.

研究の動機と目的

• 時系列予測における転移学習の成功に、ソース・ターゲット類似性とソースデータの多様性が与える影響を体系的に評価すること。
• 特徴量ベースの類似性と多様性で測定されるデータセットの特性のうち、ゼロショットおよびファインチューニング設定でより良い予測パフォーマンスを示す要因を同定すること。
• ドメイン特化の事前学習が行われない状況において、類似または多様なソースデータセットを選択する有効性を実証的に示すこと。
• 形状ベースや臨床的類似性測定値に依存するのではなく、測定可能な特徴量ベースの指標を用いて転移学習の成功を評価するフレームワークを確立すること。

提案手法

• 異なる分野にまたがる5つの公開時系列データセットを用いてDeepARモデルを事前学習し、小規模なファウンデーションモデルを模倣するための統合「マルチソース」モデルを構築した。
• 実世界の小売販売データを含む5つのターゲットデータセットに対して、ゼロショットおよびファインチューニング設定で事前学習済みモデルを適用した。
• tsfreshおよびcatch22特徴量を用いて、ソース・ターゲット類似性とソースの多様性を測定する2つの特徴量ベースの類似性指標を計算した。
• ソースの多様性を、データセット内における時系列特徴量の分散として定義し、解釈性を高めるために潜在的主成分分析（PCA）空間に可視化した。
• ETSをベンチマークとして用い、精度、バイアス、不確実性推定、トレーニング時間といった指標を用いて予測パフォーマンスを評価した。
• 比較のため、形状ベースの類似性測定値として動的時間ワープ（DTW）を用いたが、有意な相関は認められなかった。

Figure 1: Zero-shot/scratch (red circles) and fine-tuned (blue circles) accuracy in AvgRelRMSE (see Eq. 1 ) per source model across the five target data sets.

実験結果

リサーチクエスチョン

• RQ1 特徴空間におけるソース・ターゲット類似性は、ゼロショットおよびファインチューニング設定における予測精度とバイアスにどのように影響するか？
• RQ2 特徴量の分散で測定されるソースデータの多様性は、転移学習における予測精度と不確実性推定にどのように影響するか？
• RQ3 DTWのような形状ベースの類似性測定値は、転移学習パフォーマンスと相関するか。それとも特徴量ベースの測定値の方が予測に優れているか？
• RQ4 ゼロショットとファインチューニング設定の両者において、類似性／多様性と予測パフォーマンスの関係はどのように異なるか？
• RQ5 特徴量ベースの類似性と多様性指標は、新しい予測応用分野における最適なソースデータセットの選定を支援できるか？

主な発見

• tsfresh特徴量におけるソース・ターゲット類似性が高くなるほど、ゼロショット予測精度が著しく向上し、バイアスが低下する。この効果は、ファインチューニング設定よりもゼロショット設定で顕著である。
• catch22特徴量におけるソースの多様性が高くなると、ゼロショット精度が向上し、より信頼性の高い不確実性推定が可能になるが、同時に同じ設定でバイアスが増加する傾向がある。
• tsfresh特徴量におけるソースの多様性はゼロショットバイアスを増加させることが判明し、すべてのパフォーマンス指標において一貫した向上が得られるとは限らないことが示された。
• 類似性・多様性とパフォーマンスの関係は、ファインチューニング設定では著しく弱く、モデルの適応によりソースデータの特性の影響が軽減される。
• DTWに基づく形状類似性は、予測パフォーマンスと有意な相関を示さず、転移学習の成功予測には特徴量ベースの測定値の方が有用であることが示唆された。
• 本研究は、転移学習において類似したソースデータセットや多様なソースデータセットを選択する既存の実務的アプローチを裏付けており、特徴量ベースの指標が実用的な選定基準を提供することを示した。

(a) Sources Tsfresh