[论文解读] Deep Learning for Time Series Classification and Extrinsic Regression: A Current Survey

Navid Mohammadi Foumani, Lynn Miller+4 more|arXiv (Cornell University)|Feb 6, 2023

Time Series Analysis and Forecasting被引用 10

一句话总结

一份关于时间序列分类（TSC）和外在回归（TSER）的深度学习方法的综合综述，涵盖架构、自监督学习、数据增强、迁移学习，以及人类活动识别和地球观测等关键应用。

ABSTRACT

Time Series Classification and Extrinsic Regression are important and challenging machine learning tasks. Deep learning has revolutionized natural language processing and computer vision and holds great promise in other fields such as time series analysis where the relevant features must often be abstracted from the raw data but are not known a priori. This paper surveys the current state of the art in the fast-moving field of deep learning for time series classification and extrinsic regression. We review different network architectures and training methods used for these tasks and discuss the challenges and opportunities when applying deep learning to time series data. We also summarize two critical applications of time series classification and extrinsic regression, human activity recognition and satellite earth observation.

研究动机与目标

• 总结当前在深度学习用于TSC和TSER方面的最新进展。
• 提供用于时间序列数据的深度学习方法与架构的分类体系。
• 讨论训练策略，包括自监督学习、数据增强和迁移学习。
• 突出领先应用，如人类活动识别和卫星地球观测。
• 指出挑战与机遇，以指引未来研究。

提出的方法

• 关于TSC/TSER的深度学习文献的综述与综合。
• 从网络配置（MLP、CNN、RNN、GNN、注意力）和学习范式（有监督、自监督）出发的分类法发展。
• 讨论时间序列的数据增强和迁移学习策略。
• 对有代表性的架构进行评述（InceptionTime、ResNet、FCN、扩张CNN、Disjoint-CNN、成像型时间序列方法）。
• 检视自监督前文本（对比学习、自预测）以及用于长程依赖的注意力/变换器变体。
• 描述两个关键应用：人类活动识别和地球观测。

实验结果

研究问题

• RQ1 目前用于TSC和TSER的主要深度学习架构和训练范式有哪些？
• RQ2 自监督学习和数据增强如何提升时间序列任务的性能？
• RQ3 哪些迁移学习策略对于时间序列数据是有效的？
• RQ4 推动TSC/TSER进展的显著应用有哪些，仍存在哪些挑战？

主要发现

• 深度学习架构（CNN、RNN、适应性MLP、GNN、基于注意力的模型）主导当前的TSC/TSER研究与实践。
• 自监督学习以及对比学习/自预测前文本在低标注情形中显示出前景。
• 基于成像的变换（GAF/MTF/GADF、RP、RPMCNN）为利用2D CNN处理时间序列提供替代路径。
• InceptionTime及相关多尺度/基于Inception的架构在基准数据集上通常优于早期基线，注意力/变换器变体在长程依赖方面日益受到关注。
• 存在传统基准（UCR/UEA）与深度学习数据需求之间的公认差距，推动模型与数据集的协同设计。
• 在人类活动识别与地球观测中的应用被强调为推动方法论的发展关键用例。