[论文解读] Residual Attention Net for Superior Cross-Domain Time Sequence Modeling

Seth H. Huang, Lingjie Xu+1 more|arXiv (Cornell University)|Jan 13, 2020

Human Pose and Action Recognition参考文献 20被引用 9

一句话总结

本文提出残差注意力网络（RAN），一种新颖的架构，结合通用Transformer、残差网络与高速公路连接，以解决跨领域时间序列建模中的长依赖与噪声敏感性问题。在UCR 85个基准数据集上，RAN在无需微调的情况下于35项任务中达到最先进性能，展现出在多样化序列领域中的强大泛化能力与鲁棒性。

ABSTRACT

We present a novel architecture, residual attention net (RAN), which merges a sequence architecture, universal transformer, and a computer vision architecture, residual net, with a high-way architecture for cross-domain sequence modeling. The architecture aims at addressing the long dependency issue often faced by recurrent-neural-net-based structures. This paper serves as a proof-of-concept for a new architecture, with RAN aiming at providing the model a higher level understanding of sequence patterns. To our best knowledge, we are the first to propose such an architecture. Out of the standard 85 UCR data sets, we have achieved 35 state-of-the-art results with 10 results matching current state-of-the-art results without further model fine-tuning. The results indicate that such architecture is promising in complex, long-sequence modeling and may have vast, cross-domain applications.

研究动机与目标

• 为解决序列建模中的长依赖问题，特别是针对长序列和噪声较大的时间序列数据。
• 提升在非平稳、高噪声环境中（如金融和现实世界时间序列中常见）的模型泛化能力。
• 开发一种实用的端到端深度学习架构，无需大量超参数调优即可超越现有方法。
• 探索基于Transformer的注意力机制、残差学习与高速公路连接的融合，以增强序列表征能力。
• 验证该架构在多样化时间序列分类任务中的跨领域适用性。

提出的方法

• RAN结合通用Transformer以实现全局序列注意力，同时利用残差块稳定深层训练并实现残差映射。
• 引入高速公路连接以促进特征在层间的流动，改善梯度传播并支持更深的网络结构。
• 模型融合了Transformer的注意力机制以捕捉长程依赖，以及ResNet的残差连接以缓解梯度消失问题。
• 该架构在UCR时间序列基准数据集上进行端到端训练，无需任务特定的微调。
• 该方法采用混合设计：自注意力机制捕捉长程上下文，残差学习实现稳定优化。
• 在85个标准UCR时间序列分类数据集上评估模型，以衡量其泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 结合Transformer、残差网络与高速公路连接的混合架构是否能在长序列时间序列建模中超越现有模型？
• RQ2 注意力机制与残差学习的融合是否能提升在噪声大、非平稳时间序列数据上的泛化能力？
• RQ3 RAN在无需微调的情况下，能在多大程度上在多样化领域中实现最先进性能？
• RQ4 与LSTM-FCN、ResNet及集成方法（如COTE）等强基线相比，RAN在准确率与统计显著性方面表现如何？
• RQ5 所提出的架构在跨领域设置下，是否在短序列与长序列长度上均保持高性能？

主要发现

• RAN在85个UCR时间序列分类数据集中的35个上实现了最先进性能，且未进行任何模型微调。
• 另有10个数据集达到当前最先进结果，表明其具备强大的泛化能力与鲁棒性。
• 通过Wilcoxon符号秩检验的统计分析证实，RAN在大多数比较中显著优于所有对比模型（包括LSTM-FCN、ResNet与COTE），p值均小于0.001。
• 该模型在长序列与高噪声序列上表现优异，例如在PigCVP与PigArtPressure数据集中，尽管存在极端噪声与非平稳性，仍实现了高准确率。
• 在GunPointMaleVersusFemale与UMD等若干基准测试中，RAN实现了完美或接近完美的准确率（1.0），表明其在复杂序列中具备强大的模式识别能力。
• 与BOSS、TSBF及MLP等强基线相比，RAN表现出持续优势，p值范围为1.11×10⁻¹⁰至3.76×10⁻⁶，支持RAN的优越性。