[論文レビュー] Time-Series Representation Learning via Temporal and Contextual Contrasting

Emadeldeen Eldele, Mohamed Ragab+5 more|arXiv (Cornell University)|Jun 26, 2021

Time Series Analysis and Forecasting参考文献 25被引用数 35

ひとこと要約

TS-TCCは、2つの相関した拡張ビューと新規の時間的・文脈的対比モジュールを用いた教師なしの時系列表現学習フレームワークで、線形分類器の性能を教師ありモデルに匹敵させる表現を生成し、少数ショット学習や転移学習において強力な結果を示します。

ABSTRACT

Learning decent representations from unlabeled time-series data with temporal dynamics is a very challenging task. In this paper, we propose an unsupervised Time-Series representation learning framework via Temporal and Contextual Contrasting (TS-TCC), to learn time-series representation from unlabeled data. First, the raw time-series data are transformed into two different yet correlated views by using weak and strong augmentations. Second, we propose a novel temporal contrasting module to learn robust temporal representations by designing a tough cross-view prediction task. Last, to further learn discriminative representations, we propose a contextual contrasting module built upon the contexts from the temporal contrasting module. It attempts to maximize the similarity among different contexts of the same sample while minimizing similarity among contexts of different samples. Experiments have been carried out on three real-world time-series datasets. The results manifest that training a linear classifier on top of the features learned by our proposed TS-TCC performs comparably with the supervised training. Additionally, our proposed TS-TCC shows high efficiency in few-labeled data and transfer learning scenarios. The code is publicly available at https://github.com/emadeldeen24/TS-TCC.

研究の動機と目的

• ラベルなしの時系列データの時間的ダイナミクスを捉えた意味のある表現を学習する動機付け。
• 対照学習のために2つの相関する拡張（弱・強）を開発し、多様なビューを作成する。
• robust な時間的依存を捉えるため、ビュー間予測を含む時間的対比モジュールを導入する。
• 学習した表現の識別力を高めるため、文脈対比モジュールを追加する。
• 複数の実世界の時系列タスクと転移シナリオで有効性を示す。

提案手法

• 時系列特有の拡張（置換-ジッター、ジッター-スケール）を用いてビューx^s（強）とx^w（弱）を作成する。
• 各 timestep に対して潜在 z_t を得るために3ブロック CNN エンコーダでビューを符号化する。
• Temporal Contrasting (TC): 自己回帰型トランスフォーマを用いて過去の z から未来の z を予測する。クロスビュー（c_t^s は z_{t+k}^w を予測、c_t^w は z_{t+k}^s を予測）。
• 文脈を共有する W_k マッピングを用いた共通の線形結合を用いてログ対数-bilinear なクロスビュー予測で TC 損失 L_TC^s と L_TC^w を計算する。
• Contextual Contrasting (CC): 文脈に非線形射影を適用し、同一サンプルのビュー間の文脈の一致を最大化し、他サンプル（ネガティブサンプル）との一致を最小化する対比損失を用いる。
• 損失の組み合わせ: L = λ1*(L_TC^s + L_TC^w) + λ2*L_CC。Transformer ベースの自己回帰モデルでエンドツーエンドに訓練（PyTorch）。

実験結果

リサーチクエスチョン

• RQ1 教師付きのトレーニングと同等の性能を持つ線形分類器と組み合わせた場合、教師なしの TS-TCC はラベルなしの時系列データから競争力のある表現を学習できるか。
• RQ2 時間的クロスビュー予測と文脈対比は、表現品質と転移性を異なる時系列ドメインで改善するか。
• RQ3 時系列特有の拡張とデュアルビューは、HAR、睡眠ステージ推定、癲癇予測、故障診断の下流性能にどのような影響を与えるか。
• RQ4 少数サンプルのラベルデータと転移学習は TS-TCC の有効性にどのような影響を与えるか。

主な発見

• TS-TCC は HAR、Sleep-EDF、Epilepsy、Fault Diagnosis のデータセットにおいて、監視学習と比べて競争力のあるまたは優れた線形評価パフォーマンスを達成する。
• 少数ショットおよび転移学習のシナリオで、ラベル付きデータが不足する場合に TS-TCC は教師ありベースラインを大幅に上回り、ドメイン間転移性を改善する。
• アブレーション研究は、クロスビューの時間予測と文脈対比の両方が性能向上に寄与し、両方の拡張を用いるとより強い効果が得られることを示す。
• 時間的特徴（クロスビュー予測を介して）が特に有効で、提案された拡張は単一拡張設定を上回る。
• TS-TCC はドメイン横断の故障診断で強力な転移を示し、 tested シナリオの大半で監視付き事前学習を上回る。
• 総じて、TS-TCC の特徴に対する線形分類器は監視付きの性能に近づくか同等となり、効果的な教師なし表現学習を示す。