[論文レビュー] A Survey on Time-Series Pre-Trained Models

Qianli Ma, Zhen Liu+5 more|arXiv (Cornell University)|May 18, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本サーベイは、教師あり、教師なし、自己教師ありの pre-training テクニックに基づいて分類される時系列事前学習モデル（TS-PTMs）について包括的なレビューを提供している。434のデータセットと679の転移学習シナリオをカバーする27の手法を評価しており、自己教師ありおよびTransformerベースのTS-PTMsが、時系列分類および異常検出において最先端の性能を達成していることを示している。

ABSTRACT

Time-Series Mining (TSM) is an important research area since it shows great potential in practical applications. Deep learning models that rely on massive labeled data have been utilized for TSM successfully. However, constructing a large-scale well-labeled dataset is difficult due to data annotation costs. Recently, pre-trained models have gradually attracted attention in the time series domain due to their remarkable performance in computer vision and natural language processing. In this survey, we provide a comprehensive review of Time-Series Pre-Trained Models (TS-PTMs), aiming to guide the understanding, applying, and studying TS-PTMs. Specifically, we first briefly introduce the typical deep learning models employed in TSM. Then, we give an overview of TS-PTMs according to the pre-training techniques. The main categories we explore include supervised, unsupervised, and self-supervised TS-PTMs. Further, extensive experiments involving 27 methods, 434 datasets, and 679 transfer learning scenarios are conducted to analyze the advantages and disadvantages of transfer learning strategies, Transformer-based models, and representative TS-PTMs. Finally, we point out some potential directions of TS-PTMs for future work.

研究の動機と目的

• pre-training テクニックに基づいて、時系列事前学習モデル（TS-PTMs）の体系的で分類的な枠組みを提供すること。
• 転移学習戦略、Transformerベースのアーキテクチャ、代表的なTS-PTMsの強みと限界を分析すること。
• 27のTS-PTM手法が434のデータセットと679の転移学習シナリオにおいて果たす性能を評価すること。
• TS-PTMsの開発と応用における未解決の課題と今後の研究方向性を特定すること。

提案手法

• ラベル付き、ラベルなし、または仮ラベル付きデータの使用に基づき、TS-PTMsを教師あり、教師なし、自己教師ありの3つの主なタイプに分類する。
• 時系列マイニングに用いられる深層学習モデル（Transformer、オートエンコーダ、系列モデルなど）をレビューする。
• 27の手法、434のデータセット、679の転移学習シナリオをカバーする広範な実験を通じて、モデル性能を比較する。
• 自己教師あり学習における再構成損失、対照的学習、仮ラベル付けなどのpre-training目的を評価する。
• 特にTransformerアーキテクチャが、時系列データにおける表現学習に与える影響を分析する。
• 再現可能性および今後の研究を促進するために、https://github.com/qianlima-lab/time-series-ptms で公開されたコードベースを提供する。

実験結果

リサーチクエスチョン

• RQ1 教師あり、教師なし、自己教師ありの各pre-training テクニックは、効果的な時系列表現を学習する上でどのように比較されるか？
• RQ2 下流の時系列タスクにおいて、Transformerベースのモデルと非Transformerアーキテクチャの相対的な性能は？
• RQ3 低データ環境下での時系列分類および異常検出において、転移学習戦略はどの程度効果的か？
• RQ4 データ効率性と一般化性能の観点から、現在のTS-PTM手法における主な課題と限界は何か？
• RQ5 時系列事前学習分野における今後の研究で最も有望な方向性は何か？

主な発見

• DCdetectorはSMDデータセット（F1スコア 0.9563）およびSWATデータセット（F1スコア 0.9588）で最高のF1スコアを記録し、GPT4TS や TimesNet など他のモデルを上回った。
• TS2VecはMSLデータセット（F1スコア 0.8748）およびSMAPデータセット（F1スコア 0.7013）で優れた性能を示し、多次元データセットにわたる頑健性を実証した。
• GPT4TSはPSMデータセット（F1スコア 0.9706）およびNIPS TS Waterデータセット（F1スコア 0.7844）で最良のF1スコアを達成し、複雑な多次元シナリオにおける優れた一般化性能を示した。
• TimesNetはPSM（F1スコア 0.9183）およびSWAT（F1スコア 0.9265）データセットで高いF1スコアを記録し、多様な条件下での異常検出において強力な性能を示した。
• LSTM-VAE および DONUT は多次元データセットで一貫して低い性能を示し、SMDおよびMSLデータセットでF1スコアが0.4未満にとどまり、表現学習における限界が浮き彫りになった。
• LSTM-VAE、DOUNT、TS2Vec などの複数のモデルが、PSMおよびSWATデータセットでメモリエラーを発生させて失敗した。これは、現在のTS-PTM実装におけるスケーラビリティとリソース制約の問題を示している。