[論文レビュー] TS2Vec: Towards Universal Representation of Time Series

Zhihan Yue, Yujing Wang+5 more|arXiv (Cornell University)|Jun 19, 2021

Time Series Analysis and Forecasting被引用数 40

ひとこと要約

TS2Vecは、拡張-contextビューを用いて時系列のタイムスタンプレベル表現を学習する普遍的で階層的な対照フレームワークで、サブシリーズの表現を正確に捉え、分類、予測、異常検知において最先端の性能を達成します。

ABSTRACT

This paper presents TS2Vec, a universal framework for learning representations of time series in an arbitrary semantic level. Unlike existing methods, TS2Vec performs contrastive learning in a hierarchical way over augmented context views, which enables a robust contextual representation for each timestamp. Furthermore, to obtain the representation of an arbitrary sub-sequence in the time series, we can apply a simple aggregation over the representations of corresponding timestamps. We conduct extensive experiments on time series classification tasks to evaluate the quality of time series representations. As a result, TS2Vec achieves significant improvement over existing SOTAs of unsupervised time series representation on 125 UCR datasets and 29 UEA datasets. The learned timestamp-level representations also achieve superior results in time series forecasting and anomaly detection tasks. A linear regression trained on top of the learned representations outperforms previous SOTAs of time series forecasting. Furthermore, we present a simple way to apply the learned representations for unsupervised anomaly detection, which establishes SOTA results in the literature. The source code is publicly available at https://github.com/yuezhihan/ts2vec.

研究の動機と目的

• 全体系列の埋め込みを超えた、普遍的で細粒度な時系列表現の学習を動機づける。
• 多尺度の文脈情報を捉える階層的対照フレームワークを開発する。
• 強い帰納的バイアスを持たずに頑健な正例ペア選択を実現するための文脈的一貫性を導入する。
• 単純なタイムスタンプレベルの集約（max pooling）を通じて任意のサブシリーズ表現を可能にする。
• 分類、予測、異常検知タスク全般で広範な改善を実証する。

提案手法

• 各入力から2つの重複するサブシリーズを用い、それらの共有セグメント表現の一貫性を保つ。
• 入力を、入力投影、タイムスタンプマスキング、拡張畳み込みネットワーク（dilated CNN）からなるエンコーダで符号化する。
• 二重対照損失で学習する：時間的対照損失とインスタンスごとの対照損失（Eq. 1–3）。
• 時間軸に沿って最大プーリングで階層的対照を適用し、マルチスケール表現を作成して複数レベルで損失を計算する。
• 分布仮定を避けるため、タイムスタンプマスキングとランダムクロップによる正例対の文脈的一貫性を採用する。
• バックボーンは多変量入力をサポートし、拡張畳み込みCNNを用いて大きな受容野を実現する。

実験結果

リサーチクエスチョン

• RQ1 時系列表現を、全体系列の埋め込みだけでなく、任意の意味レベルでどう学習できるか？
• RQ2 階層的で多尺度な対照目的は、時系列タスクの頑健性と一般化を向上させるか？
• RQ3 文脈的一貫性は、サブシリーズ単独や時間的一貫性だけより良い正例対の選択を提供するか？
• RQ4 学習されたタイムスタンプレベルの表現を集約して、予測と異常検知のための効果的なサブシリーズ埋め込みを形成できるか？

主な発見

方法	平均精度	平均ランク	訓練時間（時間）(UCR)	平均精度（UEA）	平均ランク（UEA）	訓練時間（時間）(UEA)
DTW	0.727	4.33	–	0.650	3.74	–
TNC	0.761	3.52	228.4	0.677	3.84	91.2
T-ST (TST)	0.641	5.23	17.1	0.635	4.36	28.6
TS-TCC	0.757	3.38	1.1	0.682	3.53	3.6
T-Loss	0.806	2.73	38.0	0.675	3.12	15.1
TS2Vec	0.830 (+2.4%)	1.82	0.9	0.712 (+3.0%)	2.40	0.6

• TS2Vecは時系列分類で顕著な向上を達成し、125のUCRデータセットで平均精度が2.4%高く、29のUEAデータセットで3.0%高くなった。
• 学習したタイムスタンプ表現は、表現の上に線形回帰を置くことで予測で強力な性能を発揮し、報告済みのベンチマークでMSEを最大32.6%（一変量）および28.2%（多変量）削減する。
• TS2Vecは正規およびコールドスタート設定のいずれにおいても教師なし異常検知で最先端の結果を提供し、F1スコアの顕著な改善を達成。
• アブレーションにより、要素を削除すると精度が低下することが示され、各コンポーネントの重要性が確認された。
• 可視化は、学習された表現が高値/低値のタイムスタンプ、推移するトレンド、季節性パターンなどのダイナミクスを捉えていることを確認している。