[論文レビュー] Unsupervised Representation Learning for Time Series with Temporal Neighborhood Coding

Sana Tonekaboni, Danny Eytan+1 more|arXiv (Cornell University)|Jun 1, 2021

Time Series Analysis and Forecasting参考文献 40被引用数 104

ひとこと要約

Temporal Neighborhood Coding (TNC) を提案する。PU 加重損失で隣接ウィンドウと非隣接ウィンドウを対比することで、非定常な多変量時系列の転移可能な表現を学習する自己監督フレームワーク。

ABSTRACT

Time series are often complex and rich in information but sparsely labeled and therefore challenging to model. In this paper, we propose a self-supervised framework for learning generalizable representations for non-stationary time series. Our approach, called Temporal Neighborhood Coding (TNC), takes advantage of the local smoothness of a signal's generative process to define neighborhoods in time with stationary properties. Using a debiased contrastive objective, our framework learns time series representations by ensuring that in the encoding space, the distribution of signals from within a neighborhood is distinguishable from the distribution of non-neighboring signals. Our motivation stems from the medical field, where the ability to model the dynamic nature of time series data is especially valuable for identifying, tracking, and predicting the underlying patients' latent states in settings where labeling data is practically impossible. We compare our method to recently developed unsupervised representation learning approaches and demonstrate superior performance on clustering and classification tasks for multiple datasets.

研究の動機と目的

• 医療分野を中心に、複雑でラベルが乏しい時系列データに対する無監督表現学習を動機づける。
• 時系列の非定常ダイナミクスを捉えるため、定常性を持つ時間的近傍を定義する。
• 負例のサンプリングバイアスに対処するため、PU 学習に基づく重み付けを用いた偏り除去対比目的を開発する。
• TNC 表現がタスク間・データセット間で一般化可能かつ転移可能であることを示す。

提案手法

• 時系列を X ∈ R^{D×T} と表現し、長さ delta のウィンドウ W_t を定義する。
• 時間的近傍 N_t を中心 t* ~ N(t, eta * delta) を持つウィンドウとして定義し、Augmented Dickey-Fuller テストで eta を推定する。
• エンコーダ Enc を用いて W_t を Z_t に写像し、識別器 D(Z_t, Z) で二つの表現が同じ近隣から来たものかを判定する。
• 非近傍には PU 重み w_t を適用して負荷に対しては非近傍を遠ざけつつ、近傍には近づける偏り除去対比損失で訓練する。
• サンプリングバイアスを考慮して、非近傍を正の重み付きのラベルなしサンプルとして扱い、正例・負例の組み合わせ（PU 学習）を適用する。
• このフレームワークはエンコーダのアーキテクチャに依存せず、単純な RNN や CNN ベースのエンコーダを使用できる。識別器は軽量な二値分類子である。

実験結果

リサーチクエスチョン

• RQ1 Temporal Neighborhood Coding は非定常な時系列において、時系列的に近接するウィンドウと遠くのものを識別する表現を学習できるか。
• RQ2 TNC 表現は潜在状態に従ってクラスタリングされ、多様なデータセットにおけるクラスタリングや分類などの下流タスクを支援するか。
• RQ3 クラスタリング品質と分類性能の観点で、TNC は CPC および PU 重み付き Triplet-Loss とどう比較されるか。
• RQ4 情報量の多い近傍と状態変化のバランスを取るため、近傍サイズを窓ごとにADFなどの定常性検定を用いて自動適応できるか。

主な発見

• TNC は シミュレーション、ECG 波形、HAR データセット全体で、CPC、Triplet-Loss、K-means ベースラインと比較して、より高いシルエット係数、低い Davies-Bouldin 指標という優れたクラスタリング品質を示す。
• TNC は分類性能を監視付きモデルに近づけ、いくつかのデータセットで AUPRC および精度が CPC および Triplet-Loss より大幅に高い。
• TNC 表現は状態遷移時に変化する明確な軌跡を示し、潜在空間に非定常ダイナミクスを捉える。
• ADF で推定された時間的近傍は窓ごとに近傍幅を堅牢に適応させ、情報量と状態変化のバランスを取る。