[論文レビュー] Chronos: Learning the Language of Time Series

Abdul Fatir Ansari, Lorenzo Stella+16 more|arXiv (Cornell University)|Mar 12, 2024

Time Series Analysis and Forecasting被引用数 51

ひとこと要約

Chronos pretrained probabilistic time series models tokenize real-valued series into a fixed vocabulary and train standard transformer language models, achieving strong in-domain and zero-shot forecasting across 42 datasets.

ABSTRACT

We introduce Chronos, a simple yet effective framework for pretrained probabilistic time series models. Chronos tokenizes time series values using scaling and quantization into a fixed vocabulary and trains existing transformer-based language model architectures on these tokenized time series via the cross-entropy loss. We pretrained Chronos models based on the T5 family (ranging from 20M to 710M parameters) on a large collection of publicly available datasets, complemented by a synthetic dataset that we generated via Gaussian processes to improve generalization. In a comprehensive benchmark consisting of 42 datasets, and comprising both classical local models and deep learning methods, we show that Chronos models: (a) significantly outperform other methods on datasets that were part of the training corpus; and (b) have comparable and occasionally superior zero-shot performance on new datasets, relative to methods that were trained specifically on them. Our results demonstrate that Chronos models can leverage time series data from diverse domains to improve zero-shot accuracy on unseen forecasting tasks, positioning pretrained models as a viable tool to greatly simplify forecasting pipelines.

研究の動機と目的

• 多様な時系列データを活用できる一般的な事前学習済み予測モデルの必要性を動機づける。
• トークン化と標準的LM訓練を通じて、言語モデルを時系列へ最小限の役割適応を提案する。
• 合成データと混合パターンのデータ拡張によって訓練の多様性を高め、一般化を向上させる。
• 幅広いベンチマークスイートにおいて、ドメイン内およびゼロショット予測性能が高いことを実証する。

提案手法

• 単純なスケーリングと一様量子化を介して時系列値を固定語彙にトークン化する。
• そのまま利用可能なエンコーダ-デコーダまたはデコーダーのみのトランスフォーマーモデル（例：T5系、GPT-2）を、トークン化された系列に対してクロスエントロピーで訓練する。
• 観測をカテゴリ分布としてモデル化し、分類によって回帰を行う（確率的予測）。
• 自回帰的にトークン予測をサンプリングし、デクオント化ステップを通じて実数値へ戻して予測分布を得る。
• TSMix（データセット横断の時系列ミックスアップ）とKernelSynth（GPベースの合成時系列）で訓練を拡張し、頑健性を改善する。
• タスク固有の微調整を用いずに、未知のデータセットで評価してゼロショット性能を測る。

実験結果

リサーチクエスチョン

• RQ1 トークン化された時系列で訓練された言語モデルベースのフレームワークは、多様な領域で競争力のある確率予測を提供できるか？
• RQ2 事前学習済みのChronosモデルは、見たことのないデータセットで強力なゼロショット予測能力を示すか？
• RQ3 設計上のどの選択肢（モデルサイズ、トークン化、データ拡張）が、ドメイン内およびゼロショット性能に最も影響を与えるか？

主な発見

• Chronosモデルは、トレーニングコーパスに含まれるデータセットでベースラインを大幅に上回る。
• Chronosは、新規データセットに対して、特にそれらのデータで訓練されたモデルに比べて、同等または時には優れたゼロショット性能を達成する。
• 単純なトークン化と標準的なLMアーキテクチャを用いることで、Chronosは固定語彙でのサンプリングによる確率予測を提供する。
• データ拡張（TSMixとKernelSynth）は、訓練データが限られている場合に一般化を高める。
• 実験は42データセットを対象とし、Chronosのバリアントは20Mから710Mパラメータ、GPT-2ベースの追加実験も含む。
• このフレームワークは多様なドメインデータを活用してゼロショット精度を向上させ、事前学習済みモデルを予測パイプラインを簡素化するツールとして位置づける。