[論文レビュー] MOMENT: A Family of Open Time-series Foundation Models

Mononito Goswami, Konrad Szafer+4 more|arXiv (Cornell University)|Feb 6, 2024

Time Series Analysis and Forecasting被引用数 24

ひとこと要約

MOMENT は、Time-series Pile 上で masked time-series modeling により訓練されたオープンソースのトランスフォーマーを用いた時系列基盤モデルを提示し、リソースが限られた環境で予測、分類、異常検知、欠損補完におけるゼロショットおよび few-shot の性能を可能にします。

ABSTRACT

We introduce MOMENT, a family of open-source foundation models for general-purpose time series analysis. Pre-training large models on time series data is challenging due to (1) the absence of a large and cohesive public time series repository, and (2) diverse time series characteristics which make multi-dataset training onerous. Additionally, (3) experimental benchmarks to evaluate these models, especially in scenarios with limited resources, time, and supervision, are still in their nascent stages. To address these challenges, we compile a large and diverse collection of public time series, called the Time series Pile, and systematically tackle time series-specific challenges to unlock large-scale multi-dataset pre-training. Finally, we build on recent work to design a benchmark to evaluate time series foundation models on diverse tasks and datasets in limited supervision settings. Experiments on this benchmark demonstrate the effectiveness of our pre-trained models with minimal data and task-specific fine-tuning. Finally, we present several interesting empirical observations about large pre-trained time series models. Pre-trained models (AutonLab/MOMENT-1-large) and Time Series Pile (AutonLab/Timeseries-PILE) are available on Huggingface.

研究の動機と目的

• オープンな基盤モデルを用いて、一般目的の時系列解析を動機づけ、可能にする。
• Time-series (Time-series Pile) の大規模で多様な事前訓練コーパスを作成し、マルチデータセット事前訓練を支援する。
• 限られた監視設定の下で複数のタスクにわたる MOMENT の評価を行い、実用的な有用性を確立する。
• MOMENT が時間的構造について何を学習するか、またモデルサイズが性能にどう影響するかを調査する。

提案手法

• 固定長のパッチに分割された単変量時系列上で動作する高容量のトランスフォーマーとして MOMENT を構築する。
• マスクされたパッチを置換する学習可能な [MASK] 埋め込みを用いた masked time-series modeling で事前訓練する。
• 多様な時系列間の分布を整えるために可逆的インスタンス正規化を用いる。
• 多くのタスクには再構成ヘッドを、予測には forecasting ヘッドを用いたタスク特異的ヘッドでファインチューニングし、線形プロービングまたはゼロショット設定を許可する。
• The Time-series Pile を diverse public datasets から組み合わせ、離散的な事前訓練を支援するために慎重な train/validation/test 分割を行う。
• 限られた監視の下で、長期・短期予測、分類、異常検知、補完を網羅するマルチタスクベンチマークで評価する。

Figure 1: MOMENT can solve multiple time-series analysis tasks well (App. D ).

実験結果

リサーチクエスチョン

• RQ1 RQ1: MOMENT は限られた監視設定で複数の時系列分析タスクに対して有効か？
• RQ2 RQ2: MOMENT は周波数、トレンド、振幅など、直感的な時系列特性を捉えているか？
• RQ3 RQ3: モデルサイズは性能にどう影響し、MOMENT はクロスモーダル転移学習を可能にするか？
• RQ4 RQ4: ゼロショットおよび線形プロービングの性能は、データセット間でタスク別ベースラインと比較してどうか？

主な発見

• MOMENT は限られた監督設定の下で複数のタスクに対して競争力のある、またはほぼ最先端の成果を達成する。
• ゼロショット短期予測はいくつかのベースラインより顕著な改善を示すが、いくつかのデータセットでは従来の統計的方法と比べて依然として難しい。
• MOMENT の表現はトレンド、振幅、周波数、位相情報を捉えることができ、教師なし分類で異なるクラスを識別できる。
• モデルサイズの増加は訓練損失を改善し、言語モデリングのパラダイムと同様のスケーラブルな利点を示している。
• MOMENT での線形プロービングは予測と補完タスクでしばしば高い性能を示し、再利用可能な時系列のバックボーンとしての有用性を際立たせる。

Figure 2: Time-series Pile data splits . To prevent data contamination, we carefully partition all datasets into disjoint train, validation, and test splits. We adhere to the predefined splits provided by the creators of each dataset. In cases where such splits are unavailable, we randomly sample 60