[论文解读] Clustering Time Series Data through Autoencoder-based Deep Learning Models

Neda Tavakoli, Sima Siami‐Namini+3 more|arXiv (Cornell University)|Apr 11, 2020

Time Series Analysis and Forecasting参考文献 41被引用 12

一句话总结

本文提出一种两阶段深度学习方法，通过先利用KMeans聚类生成伪标签，再训练自编码器以学习可观测特征和隐含特征，从而提升聚类性能。该方法在预测未见金融时间序列数据的聚类标签时达到87.5%的准确率，优于传统KMeans方法，能够捕捉传统基于距离的方法所遗漏的潜在模式。

ABSTRACT

Machine learning and in particular deep learning algorithms are the emerging approaches to data analysis. These techniques have transformed traditional data mining-based analysis radically into a learning-based model in which existing data sets along with their cluster labels (i.e., train set) are learned to build a supervised learning model and predict the cluster labels of unseen data (i.e., test set). In particular, deep learning techniques are capable of capturing and learning hidden features in a given data sets and thus building a more accurate prediction model for clustering and labeling problem. However, the major problem is that time series data are often unlabeled and thus supervised learning-based deep learning algorithms cannot be directly adapted to solve the clustering problems for these special and complex types of data sets. To address this problem, this paper introduces a two-stage method for clustering time series data. First, a novel technique is introduced to utilize the characteristics (e.g., volatility) of given time series data in order to create labels and thus be able to transform the problem from unsupervised learning into supervised learning. Second, an autoencoder-based deep learning model is built to learn and model both known and hidden features of time series data along with their created labels to predict the labels of unseen time series data. The paper reports a case study in which financial and stock time series data of selected 70 stock indices are clustered into distinct groups using the introduced two-stage procedure. The results show that the proposed procedure is capable of achieving 87.5\% accuracy in clustering and predicting the labels for unseen time series data.

研究动机与目标

• 为解决传统无监督方法在处理具有隐藏和复杂特征的时间序列数据聚类任务时面临的挑战。
• 通过从KMeans聚类生成伪标签，克服监督深度学习模型依赖标注数据的局限性。
• 开发一种能够学习时间序列数据中已知特征与隐含特征的深度学习模型，以提升聚类性能。
• 在真实世界金融时间序列数据（特别是股票指数）上评估所提方法的有效性。
• 证明深度学习模型可通过捕捉时间序列中的非线性潜在模式，超越传统聚类算法（如KMeans）的表现。

提出的方法

• 首先，基于波动率和收益率值提取的特征向量，对时间序列数据应用KMeans聚类以生成伪标签。
• 这些伪标签将无监督聚类问题转化为监督学习任务。
• 在标记的时间序列数据上训练编码器-解码器架构的自编码器，以学习捕捉已知特征与隐含特征的低维表示。
• 自编码器在重建输入时间序列的同时，学习紧凑的潜在表示，以编码与聚类相关的模式。
• 基于学习到的表示，训练模型对未见时间序列数据预测聚类标签。
• 该方法利用深度学习检测数据中复杂非线性关系的能力，弥补传统基于距离的聚类方法可能遗漏的特征。

实验结果

研究问题

• RQ1 两阶段深度学习框架能否通过将无监督学习转化为监督学习，有效聚类未标记的时间序列数据？
• RQ2 基于自编码器的模型在多大程度上能学习到传统聚类度量（如欧几里得距离）无法捕捉的时间序列中的隐含特征？
• RQ3 所提出的基于自编码器的聚类模型在金融时间序列数据上的性能与传统KMeans聚类相比如何？
• RQ4 该模型能否在未见时间序列数据上实现高精度的聚类预测？
• RQ5 自编码器学习到的潜在特征在提升聚类质量方面起到何种作用，超越了波动率和收益率等可观测特征？

主要发现

• 所提出的两阶段方法在预测未见金融时间序列数据的聚类标签时达到了87.5%的准确率。
• 基于自编码器的模型优于传统KMeans聚类，表明其捕捉到了距离方法未能检测到的额外潜在模式。
• 在KMeans聚类中，如AMZN、APA和ALXN等股票指数被发现位于聚类边界，表明其模糊的归属关系可能被更深层的模型所解决。
• 自编码器检测隐含特征的能力解释了为何其提供的聚类洞察比仅依赖波动率和收益率等预定义特征的KMeans更为细致。
• 结果表明，深度学习模型能够有效建模传统统计与聚类技术所遗漏的时间序列中复杂非线性关系。
• 研究表明，即使标注数据有限，通过聚类生成伪标签，监督深度学习方法仍可有效应用于时间序列聚类。