[論文レビュー] One Fits All:Power General Time Series Analysis by Pretrained LM

Tian Zhou, PeiSong Niu+3 more|arXiv (Cornell University)|Feb 23, 2023

Time Series Analysis and Forecasting被引用数 117

ひとこと要約

この論文は、NLP/CV の凍結済み事前学習トランスフォーマーが、軽量部品のみをファインチューニングすることで、さまざまな時系列タスクにおいて最先端または競争力のある性能を達成できることを示す。自己注意の挙動を分析し、PCAと結びつけて、ドメイン間の普遍性を説明する。

ABSTRACT

Although we have witnessed great success of pre-trained models in natural language processing (NLP) and computer vision (CV), limited progress has been made for general time series analysis. Unlike NLP and CV where a unified model can be used to perform different tasks, specially designed approach still dominates in each time series analysis task such as classification, anomaly detection, forecasting, and few-shot learning. The main challenge that blocks the development of pre-trained model for time series analysis is the lack of a large amount of data for training. In this work, we address this challenge by leveraging language or CV models, pre-trained from billions of tokens, for time series analysis. Specifically, we refrain from altering the self-attention and feedforward layers of the residual blocks in the pre-trained language or image model. This model, known as the Frozen Pretrained Transformer (FPT), is evaluated through fine-tuning on all major types of tasks involving time series. Our results demonstrate that pre-trained models on natural language or images can lead to a comparable or state-of-the-art performance in all main time series analysis tasks, as illustrated in Figure 1. We also found both theoretically and empirically that the self-attention module behaviors similarly to principle component analysis (PCA), an observation that helps explains how transformer bridges the domain gap and a crucial step towards understanding the universality of a pre-trained transformer.The code is publicly available at https://github.com/DAMO-DI-ML/One_Fits_All.

研究の動機と目的

• 大規模な言語データまたはビジョンデータで学習した基盤モデルを用いて、一般的な時系列分析を動機づけ、可能にする。
• コアの注意機構/FFNブロックを変更せず、凍結された事前学習トランスフォーマーを時系列タスクに適応させる統一フレームワークを提案する。
• クロスドメインの事前学習モデルが、複数の時系列タスクで競争力のある〜最先端の結果を達成することを示す。
• 自己注意がPCAに似た表現を取る理由と、それがドメイン間の普遍性を可能にする理論的・実験的洞察を提供する。

提案手法

• 凍結済みの事前学習トランスフォーマー（GPT-2 backbone）を時系列タスクに用い、自己注意とFFNブロックを凍結しつつ、埋め込み、正規化、および出力層のみを訓練する。
• 線形プロービングを介して時系列を事前学習済みモデルに投影する入力埋め込み層を設計する。
• データ正規化とパッチ化メカニズムを適用して、局所的な意味情報を持つパッチベースのトークンを形成する。
• 多様な時系列タスク（分類、短期/長期予測、欠損補完、異常検知、Few-shot/Zero-shot予測）でモデルをファインチューニングする。
• 複数の事前学習バックボーン（GPT-2、BERT、BEiT）で実験し、クロスドメインの普遍性を示す。

実験結果

リサーチクエスチョン

• RQ1 凍結済みの事前学習済み言語/ビジョントランスフォーマーは、コアのトランスフォーマーブロックを変更せずに、一般的な時系列分析タスクで競争力のある性能を達成できるか？
• RQ2 クロスドメインの事前学習知識移転は、時系列予測、分類、異常検知、欠損補完をどの程度可能にするか？
• RQ3 事前学習済みトランスフォーマーの自己注意はなぜPCAのような表現を模倣し、ドメイン間で普遍的な計算をサポートするのか？
• RQ4 クロスモダリティの事前学習モデル（言語、視覚）は、ゼロショットおよび少数ショット設定を含む時系列タスクに対して普遍的な有効性を提供するか？

主な発見

• GPT2-backbone FPT は、予測、分類、異常検知、欠損補完を含む主要な時系列タスクで、同等または最先端の性能を達成する。
• 欠損補完の実験では GPT2(3) FPT がしばしば最良の結果を示し、複数のデータセットでMSEを顕著に低減する。
• 分類と異常検知の結果は、複数のベンチマークとデータセットで GPT2(6) FPT がベースラインを上回るまたは一致することを示す。
• Few-shot および zero-shot 予測は、GPT2(6) FPT が豊富なタスク固有データなしでも高い性能を維持することを示す。
• 自己注意がPCAと同様に振る舞うという分析は、トランスフォーマーの注意と主成分との理論的な結びつきを提供し、普遍性の主張を裏付ける。
• BERTとBEiTバックボーンでの実験は、時系列タスクにおけるクロスドメイン事前学習モデルの普遍性を示唆する。