[論文レビュー] Self-Supervised Time Series Representation Learning via Cross Reconstruction Transformer

Wenrui Zhang, L. Yang+2 more|arXiv (Cornell University)|May 20, 2022

Time Series Analysis and Forecasting被引用数 10

ひとこと要約

本論文では、Transformerエンコーダーを用いて時間領域と周波数領域間のクロスドメイン再構成を活用する自己教師あり時系列表現学習手法であるクロスレコンストラクショントランスフォーマー（CRT）を提案する。マスク再構成とカリキュラム学習、インスタンス識別を組み合わせることで、時間的・スペクトル的相関の強化を実現し、複数の実世界データセットにおいて既存手法を2%〜9%上回る最先端の性能を達成した。

ABSTRACT

Unsupervised/self-supervised representation learning in time series is critical since labeled samples are usually scarce in real-world scenarios. Existing approaches mainly leverage the contrastive learning framework, which automatically learns to understand the similar and dissimilar data pairs. Nevertheless, they are restricted to the prior knowledge of constructing pairs, cumbersome sampling policy, and unstable performances when encountering sampling bias. Also, few works have focused on effectively modeling across temporal-spectral relations to extend the capacity of representations. In this paper, we aim at learning representations for time series from a new perspective and propose Cross Reconstruction Transformer (CRT) to solve the aforementioned problems in a unified way. CRT achieves time series representation learning through a cross-domain dropping-reconstruction task. Specifically, we transform time series into the frequency domain and randomly drop certain parts in both time and frequency domains. Dropping can maximally preserve the global context compared to cropping and masking. Then a transformer architecture is utilized to adequately capture the cross-domain correlations between temporal and spectral information through reconstructing data in both domains, which is called Dropped Temporal-Spectral Modeling. To discriminate the representations in global latent space, we propose Instance Discrimination Constraint to reduce the mutual information between different time series and sharpen the decision boundaries. Additionally, we propose a specified curriculum learning strategy to optimize the CRT, which progressively increases the dropping ratio in the training process.

研究の動機と目的

• マスキングによる分布シフトの問題やスペクトル情報を無視する既存の自己教師あり時系列手法の限界を是正すること。
• クロスドメイン再構成を通じて時間的・スペクトル的相関を明示的にモデル化することで、表現学習を向上させること。
• 対照学習における複雑なサンプリングポリシーへの依存を排除し、再構成ベース手法における分布シフトを回避すること。
• カリキュラム学習とインスタンス識別を統合した、ロバストでエンドツーエンドのフレームワークを構築し、下流タスクの性能を向上させること。

提案手法

• 周波数領域表現（振幅と位相を含む）を取得するために高速フーリエ変換を適用し、スペクトル情報を保持する。
• 時間領域および周波数領域の両方でパッチをランダムにマスキングすることで、分布シフトを誘発しつつもグローバルなコンテキストを維持するクロスドメインドロップ・リコンストラクションタスクを導入する。
• 共有のTransformerエンコーダーが両領域からの表現を処理し、時間的およびスペクトル的特徴の共同モデリングを通じてクロスドメイン依存関係を学習する。
• マスクされた表現から元の時間的および周波数的データを再構成することで、自己教師あり事前学習を可能にする。
• 事前学習中に徐々にドロップ率を増加させるカリキュラム学習戦略を採用し、ロバスト性と一般化性能を向上させる。
• 異なるサンプル間の相互情報量を最小化するインスタンス識別制約（IDC）を適用し、潜在空間における意思決定境界を鋭くする。

Figure 1: Comparisons with previous self-supervised methods. “Encode” is the encoder producing the representations of time series. “Temporal” and “Spectral” are time-domain and frequency-domain data respectively. Note that our CRT utilizes both temporal and spectral information, and captures cross-d

実験結果

リサーチクエスチョン

• RQ1 時間領域と周波数領域間のクロスドメイン再構成は、自己教師あり時系列表現学習を向上させ得るか？
• RQ2 時間的・スペクトル的相関をモデル化することで、特徴の識別性と下流タスク性能はどのように向上するか？
• RQ3 段階的マスキングを用いたカリキュラム学習は、事前学習におけるロバスト性と一般化性能を向上させるか？
• RQ4 提案手法のインスタンス識別制約は、対照学習と比較して安定性と性能面で優れているか？
• RQ5 周波数領域における位相情報の保持は、再構成品質および表現品質をどの程度向上させるか？

主な発見

• CRTは3つのベンチマークデータセットにおいて最先端の性能を達成し、分類精度で既存手法を2%〜9%上回った。
• PTB-XLデータセットでは、'MI'クラスにおいてAUC 98.94% ± 0.22を達成し、F2T（87.30%）およびT2F（94.24%）を著しく上回った。
• アブレーションスタディにより、カリキュラム学習およびインスタンス識別制約がモデル性能を顕著に向上させることを確認した。特にIDCはサンプル間の相互情報量を低減した。
• クロスドメイン再構成フレームワーク（CRT）は、一方向手法（T2FおよびF2T）を一貫して上回り、周期的構造を示す心電図信号のような複雑なパターンにおいて顕著な優位性を示した。
• モデルは高い一般化性能を示し、70%のドロップ率ですら高い再構成品質を維持した。これは、グローバルパターンの学習が堅牢に行われていることを示している。
• 周波数領域における位相情報の組み込みにより、振幅のみのアプローチに比べ、より正確で情報豊かな表現が得られた。

Figure 2: The framework of our CRT. For each time series, we transform it into the frequency domain and calculate the magnitude and phase as explained in Section III-B . We then slice the data and randomly drop some sliced patches. The remaining patches are projected as three types of embeddings thr