[论文解读] Deep Learning for Time-Series Analysis

John Cristian Borges Gamboa|arXiv (Cornell University)|Jan 7, 2017

Time Series Analysis and Forecasting参考文献 44被引用 161

一句话总结

本论文综述用于时序任务的深度学习方法，覆盖建模、分类和异常检测，包含如 UFCNN、GAF/MTF 图像表示，以及堆叠 LSTM 等方法的示例。

ABSTRACT

In many real-world application, e.g., speech recognition or sleep stage classification, data are captured over the course of time, constituting a Time-Series. Time-Series often contain temporal dependencies that cause two otherwise identical points of time to belong to different classes or predict different behavior. This characteristic generally increases the difficulty of analysing them. Existing techniques often depended on hand-crafted features that were expensive to create and required expert knowledge of the field. With the advent of Deep Learning new models of unsupervised learning of features for Time-series analysis and forecast have been developed. Such new developments are the topic of this paper: a review of the main Deep Learning techniques is presented, and some applications on Time-Series analysis are summaried. The results make it clear that Deep Learning has a lot to contribute to the field.

研究动机与目标

• 动机：在时间序列数据中存在超越手工特征的时序依赖性时，推动使用深度学习。
• 综述核心神经网络架构（CNN、RNN、LSTMs）及其在时序数据中的改进与适应。
• 介绍时序建模、分类和异常检测的方法。
• 讨论深度学习如何在时序情境中提升预测和模式识别。

提出的方法

• 描述基本的 ANN 模块，以及 CNN 和 RNN（包括 LSTMs）在时序中的应用。
• 介绍面向时序的专门架构，如 UFCNN (Undecimated FCN) 及其平移不变性特性。
• 解释通过 Gramian Angular Fields (GAF) 和 Markov Transition Fields (MTF) 将时序转换为图像，以进行基于 CNN 的分类。
• 讨论使用堆叠的 LSTM 架构和基于高斯分布的概率评分进行异常检测。
• 提供在预测和类交易数据集上将 UFCNN 与 RNN/LSTM 基线进行比较的示例。

实验结果

研究问题

• RQ1 哪些深度学习架构在对具有时序依赖的时间序列数据建模方面是有效的？
• RQ2 基于图像的表示（GAF/MTF）如何实现基于 CNN 的时序分类？
• RQ3 像 UFCNN 等专门架构相比传统的 RNN/LSTM，是否能改善预测和异常检测？
• RQ4 深度学习方法在跨领域的时序异常检测和预测中发挥着怎样的作用？
• RQ5 在时序任务中，深度学习方法与传统特征工程方法相比如何？

主要发现

• 在报道的实验中，UFCNNs 能在若干时序预测任务上优于 RNNs 和 LSTMs。
• 使用时序到图像表示（GAF/MTF）的基于 CNN 的分类在难数据集上取得了竞争性结果。
• 将时序转换为多通道图像使得分块 CNN 在分类任务中更有效。
• 堆叠 LSTM 架构通过建模长程依赖并估计多变量概率来改进异常检测。
• 相较于传统方法，深度学习方法在建模、分类和异常检测等任务上展现出潜力。