[论文解读] Gated Transformer Networks for Multivariate Time Series Classification

Minghao Liu, Shengqi Ren+5 more|arXiv (Cornell University)|Mar 26, 2021

Time Series Analysis and Forecasting参考文献 18被引用 100

一句话总结

GTN在Transformer上扩展了门控机制，用于融合分步关系与通道关系以进行多变量时间序列分类，在13个数据集上实现有竞争力的结果，并通过注意力图提供可解释性。

ABSTRACT

Deep learning model (primarily convolutional networks and LSTM) for time series classification has been studied broadly by the community with the wide applications in different domains like healthcare, finance, industrial engineering and IoT. Meanwhile, Transformer Networks recently achieved frontier performance on various natural language processing and computer vision tasks. In this work, we explored a simple extension of the current Transformer Networks with gating, named Gated Transformer Networks (GTN) for the multivariate time series classification problem. With the gating that merges two towers of Transformer which model the channel-wise and step-wise correlations respectively, we show how GTN is naturally and effectively suitable for the multivariate time series classification task. We conduct comprehensive experiments on thirteen dataset with full ablation study. Our results show that GTN is able to achieve competing results with current state-of-the-art deep learning models. We also explored the attention map for the natural interpretability of GTN on time series modeling. Our preliminary results provide a strong baseline for the Transformer Networks on multivariate time series classification task and grounds the foundation for future research.

研究动机与目标

• 动机：说明使用Transformer架构进行有效的多变量时间序列分类的需求。
• 提出通过门控将分步表示与通道表示融合的Gated Transformer Networks (GTN)。
• 在多样化的多变量时间序列数据集上对GTN进行评估，并给出消融研究。
• 分析注意力图和嵌入以增强对学习到的特征的可解释性。

提出的方法

• 使用tanh激活的全连接嵌入层对时间序列进行嵌入，并加入时间感知位置编码。
• 实现两个Transformer塔：一个分步（时间）编码器和一个通道式编码器，以捕捉不同的相关性。
• 引入门控机制，通过学习的门g1和g2对塔的输出进行加权和组合。
• 在分步塔中使用掩码，以保持自回归式注意力并改善学习。
• 使用Adagrad（lr=0.0001）和dropout（0.2）训练GTN，并在 plateau 时进行学习率调度，评估最佳损失模型。
• 提供消融研究以展示掩码、塔组件和门控的影响。

实验结果

研究问题

• RQ1 带门控的双塔Transformer是否能有效建模多变量时间序列中的分步（时间）相关性与通道相关性？
• RQ2 门控机制是否在GTN中优于简单拼接或单塔设计？
• RQ3 学习得到的注意力图和嵌入对时间序列数据的可解释性有多高？
• RQ4 在多样化基准上，GTN相对于最先进的深度学习基线的经验表现如何？

主要发现

• GTN在13个数据集上实现了与最先进深度学习模型相当的准确性。
• 消融研究表明掩码提升了性能，且通道式或分步塔单独在不同数据集上的有效性存在差异。
• 门控（学习权重）优于简单拼接，使每个样本可以数据驱动地依赖任一塔。
• GTN通过注意力图和嵌入可视化提供可解释的洞察，表明可发现有意义的模式。
• 分步注意力常常占优，但数据集特异性的行为显示两者都对性能有贡献。
• GTN展示了基于Transformer的时间序列分类的强基线潜力。