[论文解读] Channel masking for multivariate time series shapelets

Dripta S. Raychaudhuri, Josif Grabocka+1 more|arXiv (Cornell University)|Nov 2, 2017

Time Series Analysis and Forecasting参考文献 3被引用 5

一句话总结

本文提出通道掩码用于多变量时间序列形状子，引入可学习掩码以抑制噪声通道并提高分类准确率。通过端到端学习联合优化形状子与通道掩码，该方法在9个真实世界数据集中的6个上达到最先进性能，显著优于基线形状子学习方法及SMTS等现有方法。

ABSTRACT

Time series shapelets are discriminative sub-sequences and their similarity to time series can be used for time series classification. Initial shapelet extraction algorithms searched shapelets by complete enumeration of all possible data sub-sequences. Research on shapelets for univariate time series proposed a mechanism called shapelet learning which parameterizes the shapelets and learns them jointly with a prediction model in an optimization procedure. Trivial extension of this method to multivariate time series does not yield very good results due to the presence of noisy channels which lead to overfitting. In this paper we propose a shapelet learning scheme for multivariate time series in which we introduce channel masks to discount noisy channels and serve as an implicit regularization.

研究动机与目标

• 解决多变量时间序列形状子学习中因噪声通道导致的过拟合问题。
• 开发一种方法，自动识别并降低形状子学习过程中无信息量通道的权重。
• 将单变量形状子学习框架扩展至多变量时间序列，通过通道掩码实现隐式正则化。
• 通过学习反映特征相关性的通道特定权重，提升分类准确率。

提出的方法

• 为每个形状子 $k$ 和通道 $v$ 引入可学习通道掩码 $\mu_{k,v}$，在距离计算过程中调节各通道的贡献度。
• 对掩码值应用ReLU激活函数，确保其为非负且可学习的权重，允许其值超过1，从而增强判别能力。
• 使用可微损失函数联合优化形状子与掩码，支持通过梯度下降进行端到端训练。
• 采用滑动窗口方法计算每条时间序列与形状子之间的最小距离，结合掩码后的通道贡献。
• 对形状子参数施加L2正则化，并对掩码权重引入独立正则化项 $\lambda_W$，以防止过拟合。
• 通过在训练数据上进行5折交叉验证的网格搜索进行超参数调优，选择 $K$（形状子数量）、$\lambda_W$ 及固定学习率 $\eta=0.1$。

实验结果

研究问题

• RQ1 可学习通道掩码是否能通过降低噪声通道的影响，提升多变量时间序列形状子学习的性能？
• RQ2 在多变量时间序列分类中，通道掩码与标准形状子学习方法及SMTS等最先进方法相比表现如何？
• RQ3 激活函数的选择（Sigmoid与ReLU）是否显著影响掩码机制的性能？
• RQ4 所提方法能否自动识别并抑制无关通道，同时增强相关通道的贡献？

主要发现

• ReLU激活函数在掩码权重上表现优于Sigmoid，因其允许更大的动态范围，能更好地区分信息量通道与噪声通道。
• 在合成数据集中，通道掩码成功学习到为前两个信息量通道分配高权重，而为其余38个噪声通道分配低权重。
• 在全部9个真实世界数据集上，掩码形状子方法的误差率均低于基线形状子方法，表现出一致的性能提升。
• 在9个数据集中的6个上，该方法优于SMTS最先进方法，尤其在ECG（0.110 vs. 0.182）、LIBRAS（0.111 vs. 0.177）和uWave（0.071 vs. 0.100）上取得显著提升。
• 在Wafer数据集上，掩码方法达到0.014的误差率，优于基线形状子方法（0.019）和SMTS（0.035）。
• 该方法在手写、动作、手势及语音识别等多种领域中表现出鲁棒性，证实了其泛化能力。