[論文レビュー] Domain Fusion Controllable Generalization for Cross-Domain Time Series Forecasting from Multi-Domain Integrated Distribution

Xiangkai Ma, Xiaobin Hong+4 more|arXiv (Cornell University)|Dec 4, 2024

Complex Systems and Time Series AnalysisEconomics, Econometrics and Finance被引用数 3

ひとこと要約

本稿では、複数のドメインにわたる確率分布を直接拡散ノイズ除去プロセスを用いて統合的にモデル化する、UTSDと呼ばれる統合的時系列拡散モデルを提案する。これにより、ドメインに依存しないゼロショットクロスドメイン一般化が可能になる。マルチスケールの文脈表現、アダプタベースのファインチューニング、分類器フリーのガイダンスを活用することで、UTSDは多様な時系列ベンチマークで最先端の性能を達成し、ドメイン特化の調整なしに優れた安定性、正確性、一般化性能を示している。

ABSTRACT

Conventional deep models have achieved unprecedented success in time series forecasting. However, facing the challenge of cross-domain generalization, existing studies utilize statistical prior as prompt engineering fails under the huge distribution shift among various domains. In this paper, a novel time series generalization diffusion model (TimeControl) that pioneers the Domain-Fusion paradigm, systematically integrating information from multiple time series domains into a unified generative process via diffusion models. Unlike the autoregressive models that capture the conditional probabilities of the prediction horizon to the historical sequence, we use the diffusion denoising process to model the mixed distribution of the cross-domain data and generate the prediction sequence for the target domain directly utilizing conditional sampling. The proposed TimeControl contains three pivotal designs: (1) The condition network captures the multi-scale fluctuation patterns from the observation sequence, which are utilized as context representations to guide the denoising network to generate the prediction sequence; (2) Adapter-based fine-tuning strategy, the multi-domain universal representation learned in the pretraining stage is utilized for downstream tasks in target domains; (3) A novel hybrid architecture is designed to align the observation and prediction spaces, enabling TimeControl to generate prediction sequences of arbitrary lengths with flexibility. We conduct extensive experiments on mainstream 49 benchmarks and 30 baselines, and the TimeControl outperforms existing baselines on all data domains, exhibiting superior zero-shot generalization ability.

研究の動機と目的

• 異なるデータドメイン間で大きな分布シフトが生じる状況下におけるクロスドメイン時系列予測の課題に対処すること。
• 未学習の時系列ドメインに対してもゼロショット一般化が可能な統合的基盤モデルの開発。
• 長期間予測において誤差蓄積やジタリングが顕著な自己回帰モデルの限界、および一般化性能に欠けるドメイン特化モデルの限界を克服すること。
• 拡散モデルの強力な確率分布モデリング能力を活用し、マルチドメインデータから多様で高品質な予測を直接生成すること。
• 改善された分類器フリーのガイダンスとマルチスケールの文脈符号化を用いて、安定的かつ正確な条件付きサンプリングを可能にすること。

提案手法

• UTSDは、自己回帰的予測を回避するため、時系列空間において複数ドメインの時系列データの混合分布を直接拡散ノイズ除去プロセスでモデル化する。
• 条件ネットワークが入力時系列からマルチスケールのフラクチュエーションパターンを抽出し、ノイズ除去プロセスをガイドする文脈表現を提供する。
• アダプタベースのファインチューニング戦略により、完全なファインチューニングを伴わずに事前学習済みの汎用表現を下流のターゲットドメインに効率的に適応可能にする。
• 条件付きサンプリングにおいて、改善された分類器フリーのガイダンスが強化され、生成の安定性と正確性が向上する。
• モデルはマルチドメインデータ上でエンドツーエンドに訓練され、統計的性質が異なるドメイン間で一般化可能な共有表現を学習する。
• 条件付きサンプリングは実際の時系列空間上で直接実行されるため、高精細で多様かつ信頼性の高い時系列生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統合的拡散モデルは、マルチドメイン時系列データの融合確率分布を効果的に捉え、そこから生成できるか？
• RQ2 ドメイン特化型または自己回帰型モデルと比較して、UTSDはゼロショットクロスドメイン予測でどの程度の性能を示すか？
• RQ3 マルチスケールの文脈表現は、多様なドメインにわたる一般化性能と予測正確性をどの程度向上させるか？
• RQ4 提案された拡散ベースのアプローチは、自己回帰的および標準的な拡散モデルが抱える誤差蓄積やジタリング問題を緩和できるか？
• RQ5 アダプタベースのファインチューニングは、新しいターゲットドメインへの効率的適応を可能にしつつ、高い性能を維持できるか？

主な発見

• UTSDは、すべてのテストドメインで既存の基盤モデルを上回り、優れたクロスドメインのロバストネスを示した。
• スクラッチから訓練した後でも、ドメイン特化型の特許取得済みモデルと同等の性能を達成した。これは、強力な一般化能力を示している。
• t-SNEを用いた50回の繰り返しサンプリングの可視化により、ジタリングが最小限に抑えられ、安定的かつ信頼性の高い時系列生成が実現していることが確認された。
• 長期のマルチパーソーダル時系列（例：ETT, ECL, Trafficで720タイムステップ）においても、最先端の結果を達成し、長期依存性の把握能力を裏付けた。
• 短期の非周期的時系列（例：96タイムステップ）に対しても、高品質な予測を維持しており、多様な時間的パターンにおける強力な性能を示した。
• 可視化結果から、予測された信頼区間（10–90%および25–75%）が真の値をきっちりとカバーしており、正確な不確実性推定が行われていることが確認された。