[論文レビュー] TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning

Jiexi Liu, Songcan Chen|arXiv (Cornell University)|Dec 25, 2023

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

TimesURL は、周波数時間拡張（FTAug）、二重ユニバーサム（時間的およびインスタンス単位のもの）をハードネガティブサンプルとして用い、時間再構成を併用した自己教師付き対照的学習フレームワークを提案する。6つの下流タスク（予測、欠損値補完、分類、異常検出、転移学習）において最先端の性能を達成する。

ABSTRACT

Learning universal time series representations applicable to various types of downstream tasks is challenging but valuable in real applications. Recently, researchers have attempted to leverage the success of self-supervised contrastive learning (SSCL) in Computer Vision(CV) and Natural Language Processing(NLP) to tackle time series representation. Nevertheless, due to the special temporal characteristics, relying solely on empirical guidance from other domains may be ineffective for time series and difficult to adapt to multiple downstream tasks. To this end, we review three parts involved in SSCL including 1) designing augmentation methods for positive pairs, 2) constructing (hard) negative pairs, and 3) designing SSCL loss. For 1) and 2), we find that unsuitable positive and negative pair construction may introduce inappropriate inductive biases, which neither preserve temporal properties nor provide sufficient discriminative features. For 3), just exploring segment- or instance-level semantics information is not enough for learning universal representation. To remedy the above issues, we propose a novel self-supervised framework named TimesURL. Specifically, we first introduce a frequency-temporal-based augmentation to keep the temporal property unchanged. And then, we construct double Universums as a special kind of hard negative to guide better contrastive learning. Additionally, we introduce time reconstruction as a joint optimization objective with contrastive learning to capture both segment-level and instance-level information. As a result, TimesURL can learn high-quality universal representations and achieve state-of-the-art performance in 6 different downstream tasks, including short- and long-term forecasting, imputation, classification, anomaly detection and transfer learning.

研究の動機と目的

• 多様な下流タスクに適用可能な普遍的な時系列表現を学習する課題に対処すること。
• 従来の自己教師付き対照的学習手法が、単純なデータ拡張によって不適切なインダクティブバイアスを導入するという限界を克服すること。
• 時系列構造に適合した高品質なハードネガティブサンプルを組み込むことで、対照的学習を改善すること。
• セグメントレベルおよびインスタンスレベルの意味を捉えることで、タスクに依存しない事前学習によるマルチタスク一般化を可能にすること。
• 対照的学習と時間再構成を統合的に最適化する包括的なフレームワークを構築すること。

提案手法

• 時系列的およびスペクトル的特性を保持するように、クロッピングと周波数ミックスを組み合わせた FTAug（周波数時間拡張）を提案する。
• 時間的およびインスタンス単位の二重ユニバーサムを別々に構築し、ハードネガティブサンプルとして用いる。
• 両方のユニバーサムタイプからの表現を統合する二重対照的学習メカニズム（DualCon）を採用し、特徴の識別能を向上させる。
• 時間再構成を対照的学習と共同目的として統合し、細粒度（セグメントレベル）および粗粒度（インスタンスレベル）の意味を捉える。
• 標準的なエンコーダーバックボーンを用いて拡張時系列から表現を抽出し、その後、対照的および再構成ヘッドを適用する。
• FTAugからのポジティブペアと二重ユニバーサム構造からのネガティブペアを両方活用するマルチヘッド対照的損失を採用する。

実験結果

リサーチクエスチョン

• RQ1 周波数時間拡張は、標準的なCV/NLPスタイルの拡張と比較して、時系列における時間的特性をよりよく保持できるか？
• RQ2 ユニバーサムを介してタスク固有のハードネガティブサンプルを組み込むことで、普遍的表現のための対照的学習はどのように向上するか？
• RQ3 時間再構成との共同最適化は、多様なスケールの粒度において表現品質をどの程度向上させるか？
• RQ4 タスク固有の微調整なしに、1つの事前学習モデルが多様な下流タスクで最先端性能を達成できるか？
• RQ5 各構成要素（FTAug、二重ユニバーサム、再構成）の相対的寄与度は何か？

主な発見

• TimesURL は、短期および長期予測、欠損値補完、分類、異常検出、および転移学習の6つの下流タスクで最先端性能を達成した。
• Yahoo および KPI 異常検出ベンチマークでは、それぞれ F1 スコアが 0.750 および 0.688 を記録し、TS2Vec（0.745 および 0.677）など先行手法を上回った。
• アブレーションスタディの結果、周波数ミックス、インスタンスユニバーサム、時間ユニバーサム、二重ユニバーサム、時間再構成のいずれかを削除すると、30個のUEAデータセット平均で1.8%〜4.3%の性能低下が生じた。
• 二重ユニバーサム設計は単一ユニバーサムの変種よりも顕著に性能を向上させ、時間的およびインスタンスレベルの識別的信号を両方捉える重要性を裏付けた。
• 転移学習の結果、TimesURL が学習した表現は、CinCECGTorso で平均正解率 0.895、CBF で 0.864 を達成し、一部のケースでタスク固有の微調整なしのベースラインを上回った。
• 対照的学習と時間再構成の共同最適化により、すべての評価タスクで性能が向上したことで、より良い一般化性能が裏付けられた。