[论文解读] Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion

L. Yang, Shenda Hong|arXiv (Cornell University)|Feb 8, 2022

Time Series Analysis and Forecasting被引用 30

一句话总结

引入 BTSF，一种无监督时间序列表示框架，结合实例级增强与迭代双线性时域-谱域融合，以捕捉全局上下文和跨域相似性，在分类、预测和异常检测方面达到最先进的结果。

ABSTRACT

Unsupervised/self-supervised time series representation learning is a challenging problem because of its complex dynamics and sparse annotations. Existing works mainly adopt the framework of contrastive learning with the time-based augmentation techniques to sample positives and negatives for contrastive training. Nevertheless, they mostly use segment-level augmentation derived from time slicing, which may bring about sampling bias and incorrect optimization with false negatives due to the loss of global context. Besides, they all pay no attention to incorporate the spectral information in feature representation. In this paper, we propose a unified framework, namely Bilinear Temporal-Spectral Fusion (BTSF). Specifically, we firstly utilize the instance-level augmentation with a simple dropout on the entire time series for maximally capturing long-term dependencies. We devise a novel iterative bilinear temporal-spectral fusion to explicitly encode the affinities of abundant time-frequency pairs, and iteratively refines representations in a fusion-and-squeeze manner with Spectrum-to-Time (S2T) and Time-to-Spectrum (T2S) Aggregation modules. We firstly conducts downstream evaluations on three major tasks for time series including classification, forecasting and anomaly detection. Experimental results shows that our BTSF consistently significantly outperforms the state-of-the-art methods.

研究动机与目标

• 在标注有限且动态多样的时间序列上推动无监督表示学习。
• 解决分段级对比学习中样本采样偏差和全局上下文丢失的问题。
• 通过迭代双线性融合整合时域与谱域信息，以提升判别能力。

提出的方法

• 使用完整时间序列并将实例级丢弃作为增强，形成正负对。
• 通过膨胀因果卷积提取时序特征，通过一维卷积从FFT投影输入提取谱域特征。
• 计算时序特征与谱域特征之间的双线性交互，形成联合表示。
• 通过 Spectrum-to-Time (S2T) 和 Time-to-Spectrum (T2S) 聚合循环迭代地细化时序和谱域特征。
• 对双线性交互应用低秩分解，以降低内存需求并实现高效训练。
• 使用对比损失进行优化，使正对尽量聚集，负对尽量分离。

实验结果

研究问题

• RQ1 在时间序列对比学习中，实例级增强是否比分段采样更能保留全局上下文？
• RQ2 时序与谱域特征是否提供互补信息，经过双线性融合后能提升下游任务？
• RQ3 迭代跨域融合（S2T/T2S）如何影响表示对齐与判别能力？
• RQ4 BTSF 在分类、预测和异常检测等任务上是否能与有监督方法相提并驱甚至超越？

主要发现

• BTSF 在下游分类、预测和异常检测方面始终优于最先进的无监督方法。
• 所提出的双线性时域-谱域融合比简单融合方法产生更具判别性的表示。
• 作为增强的实例级丢弃比基于分段的增强更好地保留全局上下文，并降低假阴性/假阳性。
• 迭代的S2T和T2S聚合紧密耦合时序与谱域特征，改善表示的对齐与一致性。
• 低秩双线性因子分解在保持性能的同时降低内存占用，实现可扩展训练。