[論文レビュー] Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects

Kexin Zhang, Qingsong Wen+9 more|arXiv (Cornell University)|Jun 16, 2023

Time Series Analysis and Forecasting被引用数 18

ひとこと要約

本調査は時系列データに対する最先端の自己教師付き学習（SSL）手法を概観し、生成系、対比系、敵対的アプローチの3つの観点から分類法を提案するとともに、データセットと将来の方向性を示す。

ABSTRACT

Self-supervised learning (SSL) has recently achieved impressive performance on various time series tasks. The most prominent advantage of SSL is that it reduces the dependence on labeled data. Based on the pre-training and fine-tuning strategy, even a small amount of labeled data can achieve high performance. Compared with many published self-supervised surveys on computer vision and natural language processing, a comprehensive survey for time series SSL is still missing. To fill this gap, we review current state-of-the-art SSL methods for time series data in this article. To this end, we first comprehensively review existing surveys related to SSL and time series, and then provide a new taxonomy of existing time series SSL methods by summarizing them from three perspectives: generative-based, contrastive-based, and adversarial-based. These methods are further divided into ten subcategories with detailed reviews and discussions about their key intuitions, main frameworks, advantages and disadvantages. To facilitate the experiments and validation of time series SSL methods, we also summarize datasets commonly used in time series forecasting, classification, anomaly detection, and clustering tasks. Finally, we present the future directions of SSL for time series analysis.

研究の動機と目的

• 時系列データのSSLについて包括的な概観を提供する。
• 3つの観点から時系列SSL手法の新しい分類法を紹介する。
• 予測、分類、異常検知、クラスタリングなどの時系列SSLタスクで一般的に使用されるデータセットを要約する。
• 時系列SSLの利点、制限、および今後の方向性を論じる。

提案手法

• 生成系ベース、対比系ベース、敵対的ベースの3つの観点から時系列SSL手法の分類法を提案する。
• 生成系ベースの手法を自己回帰ベースの予測、自己符号化器ベースの再構成、拡散ベースの生成に細分する。
• 対比ベースの手法を、正例/負例サンプル生成に基づく5つのカテゴリーに分割する：サンプリング、予測、データ拡張、プロトタイプ、専門知識。
• タスク別に敵対的ベースの手法を分類する：時系列生成/補完と補助表現の強化。
• SSL手法の評価を容易にするため、予測、分類、異常検知、クラスタリングにまたがるデータセットとアプリケーションを検討する。
• データ拡張の選択、サンプル選択、帰納バイアス、理論的分析、堅牢な評価を含む将来の研究方向を概説する。

Figure 1: The proposed taxonomy of SSL for time series data.

実験結果

リサーチクエスチョン

• RQ1 時系列に適用できる主なSSLパラダイムとその主要な特徴は何か？
• RQ2 時系列SSL手法はどのように分類でき、各カテゴリー内の定義的フレームワークは何か？
• RQ3 時系列SSL手法を検証するために一般的に使用されるデータセットとタスクは何か？
• RQ4 時系列分析におけるSSLの未解決課題と有望な方向性は何か？

主な発見

• 時系列SSLの新しく詳細な分類が提案され、手法は3つの主要パラダイム（生成系ベース、対比ベース、敵対ベース）にまたがり、10のサブカテゴリーに分割される。
• 生成系ベースのSSLは自己回帰予測、自己符号化再構成、拡散ベースの生成に整理され、それぞれの長所/短所が議論される。
• 対比ベースのSSLは、正/負サンプル生成に基づく5つのカテゴリーに分けられる：サンプリング、予測、データ拡張、プロトタイプ、専門知識の対比。
• 敵対的ベースのSSLは、時系列生成/欠測補完と補助表現の強化を対象として議論される。
• 本論文は、予測、分類、異常検知、クラスタリングのタスクで時系列SSLに一般的に使用されるデータセットを収集・要約し、アプリケーションとデータソースを論じる。
• 将来の方向性として、データ拡張の選択、正/負サンプル戦略、帰納的バイアス、理論的分析、敵対的頑健性、ドメイン適応、および大規模な時系列モデルによる事前学習が強調される。

Figure 2: Learning paradigms of SSL.