[論文レビュー] Timer: Generative Pre-trained Transformers Are Large Time Series Models

Yong Liu, Haoran Zhang+4 more|arXiv (Cornell University)|Feb 4, 2024

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本論文では、10億個の時系列ポイントを統一された単一時系列系列（S3）形式で事前学習した大規模でデコーダー専用のTransformerモデル、Timerを紹介する。これにより、時系列予測、欠損値補完、異常検出のあらゆるタスクに少データでも一般化可能である。GPT風の自己回帰的目的関数を採用することで、最小限の微調整で最先端の性能を達成し、低データ環境下でも優れたスケーラビリティとタスクの汎用性を示した。

ABSTRACT

Deep learning has contributed remarkably to the advancement of time series analysis. Still, deep models can encounter performance bottlenecks in real-world data-scarce scenarios, which can be concealed due to the performance saturation with small models on current benchmarks. Meanwhile, large models have demonstrated great powers in these scenarios through large-scale pre-training. Continuous progress has been achieved with the emergence of large language models, exhibiting unprecedented abilities such as few-shot generalization, scalability, and task generality, which are however absent in small deep models. To change the status quo of training scenario-specific small models from scratch, this paper aims at the early development of large time series models (LTSM). During pre-training, we curate large-scale datasets with up to 1 billion time points, unify heterogeneous time series into single-series sequence (S3) format, and develop the GPT-style architecture toward LTSMs. To meet diverse application needs, we convert forecasting, imputation, and anomaly detection of time series into a unified generative task. The outcome of this study is a Time Series Transformer (Timer), which is generative pre-trained by next token prediction and adapted to various downstream tasks with promising capabilities as an LTSM. Code and datasets are available at: https://github.com/thuml/Large-Time-Series-Model.

研究の動機と目的

• データが少ない時系列の状況において、小規模モデルの性能ボトルネックを解消するため、強力な少データ一般化性能を持つ大規模時系列モデル（LTSM）の開発。
• 時系列分野におけるスケーラブルで統一されたアーキテクチャと事前学習戦略の欠如を克服し、大規模言語モデルの成功を模倣。
• 予測、欠損値補完、異常検出といった多様な時系列タスクを、共通のモデルと学習目的で統合した生成モデルフレームワークに統一。
• 大規模で多分野にまたがるデータセット（UTSD）を構築し、10億個の時系列ポイントを含め、強固な事前学習とスケーラビリティの検証を可能にする。
• 自己回帰的次トークン予測で訓練されたデコーダー専用Transformerが、時系列解析において優れたスケーラビリティとタスクの汎用性を達成できることを示す。

提案手法

• 多様な分野から抽出した10億個の時系列ポイントを含む統一時系列データセット（UTSD）を収集し、スケーラブルな事前学習を可能にした。
• 多様な時系列を標準化されたトークン系列形式に統一するため、単一時系列系列（S3）フォーマットを提案した。
• GPT風の事前学習を模倣する自己回帰的次トークン予測で訓練される、デコーダー専用のTransformerアーキテクチャを設計した。
• 予測、欠損値補完、異常検出を1つの生成タスクに統合し、ゼロショットおよび少データ適応を可能にした。
• 事前学習段階でマスク済みおよびコントラスト型の目的関数をデータ中心の事前学習として適用し、その後、下流タスクでの微調整を実施した。
• モデルサイズと事前学習データサイズをスケーリングし、モデルのスケーリング法則の妥当性を検証し、一貫した性能向上を確認した。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的生成による大規模時系列モデルの事前学習が、低データ環境下でも強力な少データ一般化性能を達成できるか？
• RQ2 GPT風の方法で訓練されたデコーダー専用Transformerアーキテクチャが、時系列タスクにおいてエンコーダー専用モデルを上回る性能を示すか？
• RQ3 統一された生成フレームワークが、1つのモデルで予測、欠損値補完、異常検出といった多様な時系列タスクを効果的に処理できるか？
• RQ4 モデルサイズとデータサイズのスケーリングが、時系列モデリングの性能に与える影響は何か？スケーリング法則は大規模時系列モデルに対しても成り立つか？
• RQ5 標準化されたS3フォーマットが、多様で不均一な時系列データをスケーラブルで大規模な事前学習に統合できるか？

主な発見

• Timerは、訓練データの5％しか使用しなくても、予測、欠損値補完、異常検出タスクで最先端の性能を達成し、既存のモデルを上回った。
• PEMS03データセットで訓練データを5％に制限した場合、12Gの事前学習を経て、MSEをベースラインの0.188から0.125に低下させ、優れた少データ一般化性能を示した。
• 20％の訓練データを使用した場合、ベースラインモデルと比較してPEMS08でMSEに25％の相対的改善を達成し、スケーラビリティの有効性を確認した。
• GPT風の事前学習を採用したデコーダー専用アーキテクチャは、特に低データ環境下でエンコーダー専用モデルを上回る性能を示した。
• モデルサイズを4Gから12Gパラメータにスケーリングしたことで、5％のデータでPEMS03のMSEが30％低下し、時系列分野におけるスケーリング法則の妥当性を裏付けた。
• 可視化結果から、Timerは欠損値補完において正確に欠損値を生成し、予測タスクでは将来の系列を正しく予測し、異常検出では分布外出力を生成することで異常を検出できることを確認した。