[論文レビュー] UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting

Xu Liu, Junfeng Hu+5 more|arXiv (Cornell University)|Oct 15, 2023

Stock Market Forecasting Methods被引用数 6

ひとこと要約

UniTimeは、ドメイン固有のデータ特性、ドメインの混同、収束速度の不均衡を克服するためにドメイン指示、Language-TS Transformer、および適応マスキングを用いた統合的で言語駆動のTransformerモデルを提案する。エネルギー、気象、経済など多様なドメインにおいて、最先端の性能と強力なゼロショット一般化を達成する。

ABSTRACT

Multivariate time series forecasting plays a pivotal role in contemporary web technologies. In contrast to conventional methods that involve creating dedicated models for specific time series application domains, this research advocates for a unified model paradigm that transcends domain boundaries. However, learning an effective cross-domain model presents the following challenges. First, various domains exhibit disparities in data characteristics, e.g., the number of variables, posing hurdles for existing models that impose inflexible constraints on these factors. Second, the model may encounter difficulties in distinguishing data from various domains, leading to suboptimal performance in our assessments. Third, the diverse convergence rates of time series domains can also result in compromised empirical performance. To address these issues, we propose UniTime for effective cross-domain time series learning. Concretely, UniTime can flexibly adapt to data with varying characteristics. It also uses domain instructions and a Language-TS Transformer to offer identification information and align two modalities. In addition, UniTime employs masking to alleviate domain convergence speed imbalance issues. Our extensive experiments demonstrate the effectiveness of UniTime in advancing state-of-the-art forecasting performance and zero-shot transferability.

研究の動機と目的

• 異なるアプリケーションドメインに一般化できる統合的時系列予測モデルを開発すること。
• ドメイン間で変動するデータ特性（例：変数数、系列長）の課題に対処すること。
• 自然言語の指示を用いて、時間系列の分布を区別できるようにすることでドメインの混同を軽減すること。
• 異なるダイナミクスを示すドメイン間で収束速度の不均衡を緩和するため、訓練の安定性を高めるマスキング戦略を導入すること。
• 未学習ドメインに対しても微調整なしに効果的なゼロショット転移学習を可能にすること。

提案手法

• UniTimeは、時系列トークンと自然言語のドメイン指示を同時にエンコードすることで、モodal表現を統合するLanguage-TS Transformerを採用する。
• ドメイン固有の指示を入力コンテキストとして用い、モデルが異なる時系列ドメインを区別し、特徴の整合性を高めることを支援する。
• 訓練中にマスキング戦略を適用し、時間的ダイナミクスや学習速度に差があるドメイン間での収束を安定化させる。
• 言語エンコーダーに事前学習済みのGPT-2重みを活用することで、指示理解に強いインダクティブバイアスを確保する。
• 推論時に、テストサンプルの小さなサブセットでの性能に基づき、学習データから最も適切な指示を選択するプロトコルを用いる。
• モデルは柔軟な入力次元をサポートしており、変数数や系列長が異なる時系列に容易に適応可能である。

Figure 1. (a) Specialized models are separately trained on time series domains with notable distribution differences. For instance, weather time series constantly fluctuate due to the chaotic influence of natural factors, while economic data, such as exchange rates, tends to remain relatively stable

実験結果

リサーチクエスチョン

• RQ1 統合的時系列予測モデルは、データ特性に差がある多様なドメインに効果的に一般化できるか？
• RQ2 自然言語の指示を組み込むことで、クロスドメイン時系列予測におけるモデル性能とドメイン識別力はどのように向上するか？
• RQ3 マスキング戦略が、異なる時間的ダイナミクスを示すドメイン間で収束速度のバランスをどの程度改善できるか？
• RQ4 微調整なしに、統合的モデルが未学習ドメインで強力なゼロショット転移性能を達成できるか？
• RQ5 事前学習済み言語モデルに対する異なる微調整戦略が、全体の予測性能にどのように影響を与えるか？

主な発見

• UniTimeは、Electricity、ETTh1、ETTh2、Weatherなど複数のデータセットで強力なベースラインを常に上回り、クロスドメイン予測において最先端の性能を示している。
• ゼロショット一般化性能が優れており、テストデータセット（Electricity や Weather）に対して、ETTh1で最も高い性能を示した指示を適切に選択するプロトコルが成功している。
• 事前学習済み言語モデルを完全に固定しても高い性能を達成しており、PLMの自己注意機構が時系列トークンに対して有用な表現を内蔵していることが示唆されている。
• 全言語モデルを微調整した場合が最も良い結果を示し、次にFPT（位置埋め込みと正規化パラメータを除き、他のパラメータを固定）戦略が性能と効率の良いトレードオフを提供している。
• 時系列データを指示の前に配置した場合（入力順序を逆転）、モデル性能が著しく低下する。これは、指示から時系列トークンへの注意の流れが重要であることを確認している。
• 事前学習済み言語モデルの重みを用いることで、ランダム初期化よりも著しく高い性能が得られ、大規模なテキストコーパスでの事前学習の価値が明確に示された。

Figure 2. UniTime overview from the perspective of a univariate time series.