[論文レビュー] Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion

L. Yang, Shenda Hong|arXiv (Cornell University)|Feb 8, 2022

Time Series Analysis and Forecasting被引用数 30

ひとこと要約

BTSFを紹介する、インスタンスレベルの拡張と反復的な二項間時空融合を組み合わせてグローバル文脈とドメイン跨りの関連性を捉える、分類・予測・異常検知で最先端の結果を達成します。

ABSTRACT

Unsupervised/self-supervised time series representation learning is a challenging problem because of its complex dynamics and sparse annotations. Existing works mainly adopt the framework of contrastive learning with the time-based augmentation techniques to sample positives and negatives for contrastive training. Nevertheless, they mostly use segment-level augmentation derived from time slicing, which may bring about sampling bias and incorrect optimization with false negatives due to the loss of global context. Besides, they all pay no attention to incorporate the spectral information in feature representation. In this paper, we propose a unified framework, namely Bilinear Temporal-Spectral Fusion (BTSF). Specifically, we firstly utilize the instance-level augmentation with a simple dropout on the entire time series for maximally capturing long-term dependencies. We devise a novel iterative bilinear temporal-spectral fusion to explicitly encode the affinities of abundant time-frequency pairs, and iteratively refines representations in a fusion-and-squeeze manner with Spectrum-to-Time (S2T) and Time-to-Spectrum (T2S) Aggregation modules. We firstly conducts downstream evaluations on three major tasks for time series including classification, forecasting and anomaly detection. Experimental results shows that our BTSF consistently significantly outperforms the state-of-the-art methods.

研究の動機と目的

• 限定ラベルと多様なダイナミクスを持つ時系列のための教師なし表現学習を動機づける。
• セグメントレベルのコントラスト学習法におけるサンプリングバイアスとグローバル文脈の喪失に対処する。
• 反復的な二項融合を通じて時系列とスペクトル情報を統合し識別性を高める。

提案手法

• インスタンスレベルのドロップアウトを拡張として用い、正例/負例の対を形成する。
• FFT-projected inputから時間的特徴を dilated causal convolutions で抽出し、スペクトル特徴を1D畳込みで抽出する。
• 時間的特徴とスペクトル特徴との間でバイリニアな相互作用を計算して結合表現を形成する。
• Spectrum-to-Time (S2T) および Time-to-Spectrum (T2S) 集約ループで時間的特徴とスペクトル特徴を反復的に改良する。
• バイリニア相互作用の低ランク因子分解を適用してメモリを削減し、効率的な学習を実現する。
• 正例対を近づけ、負例を遠ざけるコントラスト損失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの拡張は、時系列コントラスト学習においてセグメントレベルのサンプリングよりもグローバル文脈をよりよく保持するか？
• RQ2 時間的特徴とスペクトル特徴は、バイリニアに融合することで下流タスクを改善する補完的情報を提供するか？
• RQ3 反復的なクロスドメイン融合（S2T/T2S）は表現の整合性と識別性にどのように影響するか？
• RQ4 BTSFは分類、予測、異常検知のいずれにおいて、教師あり手法と競合する、またはそれを上回るか？

主な発見

• BTSFは下流の分類、予測、異常検知で一貫して最先端の無監督手法を上回る。
• 提案されたバイリニアな時間的-スペクトル融合は、単純な融合法よりも識別性の高い表現を生み出す。
• インスタンスレベルのドロップアウトを拡張として用いると、グローバル文脈をよりよく保持し、偽陰性/偽陽性を低減できる。
• 反復的なS2TおよびT2S集約は時間的特徴とスペクトル特徴を緊密に結合し、表現の整合性と均一性を改善する。
• 低ランクのバイリニア因子分解はメモリを削減しつつ性能を維持し、スケーラブルな学習を可能にする。