[论文解读] Hierarchical Clustering using Auto-encoded Compact Representation for Time-series Analysis

Soma Bandyopadhyay, Anish Datta+1 more|arXiv (Cornell University)|Jan 11, 2021

Time Series Analysis and Forecasting参考文献 13被引用 4

一句话总结

本文提出 HC-AECS，一种用于时间序列的分层聚类方法，利用序列到序列自编码器学习紧凑的潜在表征（AECS），显著降低计算成本的同时提升聚类性能。该方法结合优化的距离度量（切比雪夫、曼哈顿、马氏距离）进行凝聚式分层聚类，并通过改进的 Hubert 统计量选择最优聚类，相较于基于 DTW 的方法在单变量和多变量时间序列数据集上均表现更优，计算速度最快可达其 47 倍。

ABSTRACT

Getting a robust time-series clustering with best choice of distance measure and appropriate representation is always a challenge. We propose a novel mechanism to identify the clusters combining learned compact representation of time-series, Auto Encoded Compact Sequence (AECS) and hierarchical clustering approach. Proposed algorithm aims to address the large computing time issue of hierarchical clustering as learned latent representation AECS has a length much less than the original length of time-series and at the same time want to enhance its performance.Our algorithm exploits Recurrent Neural Network (RNN) based under complete Sequence to Sequence(seq2seq) autoencoder and agglomerative hierarchical clustering with a choice of best distance measure to recommend the best clustering. Our scheme selects the best distance measure and corresponding clustering for both univariate and multivariate time-series. We have experimented with real-world time-series from UCR and UCI archive taken from diverse application domains like health, smart-city, manufacturing etc. Experimental results show that proposed method not only produce close to benchmark results but also in some cases outperform the benchmark.

研究动机与目标

• 通过学习紧凑的潜在表征，解决长时间序列分层聚类的高计算成本问题。
• 通过结合自编码器表征学习与最优距离度量的分层聚类，提升聚类性能。
• 在单变量和多变量时间序列上实现有效聚类，克服现有 SOTA 方法仅限于单变量情况的局限。
• 提出一种基于改进 Hubert 统计量的新型内部验证机制，自动选择最优距离度量与聚类配置。
• 在医疗、制造和智慧城市等多样化真实世界时间序列数据中，验证方法的鲁棒性与高效性。

提出的方法

• 采用深度、欠完备的序列到序列自编码器（Seq2Seq AE），学习时间序列的紧凑潜在表征（AECS），显著降低序列长度。
• 在学习到的 AECS 表征上应用凝聚式分层聚类，以降低计算复杂度。
• 使用三种距离度量进行聚类评估：切比雪夫（CH）、曼哈顿（MA）和马氏距离（ML），其中 ML 仅用于内部验证。
• 使用改进的 Hubert 统计量（𝒯）作为内部聚类验证指标，以选择最优距离度量及其对应的聚类配置。
• 端到端训练自编码器，使用重构损失以在紧凑潜在空间中保留时间序列的关键模式。
• 将整个流程整合为统一框架，基于 𝒯 选择最优聚类，确保在多样化数据集上的鲁棒性。

实验结果

研究问题

• RQ1 从 Seq2Seq 自编码器中学习到的紧凑表征是否能提升长时间序列分层聚类的效率与性能？
• RQ2 在自编码时间序列表征上，切比雪夫、曼哈顿与马氏距离中哪种度量能生成更一致且分离度更高的聚类？
• RQ3 HC-AECS 方法在单变量与多变量时间序列上的聚类准确率与计算效率，相较于 K-Shape 和 HC-DDTW 等 SOTA 方法表现如何？
• RQ4 改进的 Hubert 统计量是否能有效指导无真实标签情况下的最优距离度量选择？
• RQ5 该方法在高序列长度的真实时间序列（如医疗与工业物联网应用）中，其可扩展性如何？

主要发现

• 在 UCR 数据集的 9 个单变量时间序列数据集中，HC-AECS 在 7 个上优于基准方法 HC-DDTW，计算时间较 HC-DDTW 减少 27 倍。
• 在多变量时间序列上，HC-AECS 显著优于 SOTA 方法 MLSTM-FCN，在 Wafer 数据集上达到 0.929 的准确率，优于 MLSTM-FCN 的 0.906。
• 对于长序列如 Coffee（286 个时间步）和 Beef（470 个时间步），HC-AECS 分别比 K-Shape 快 16 倍与 18 倍，尽管 K-Shape 仅支持单变量数据。
• 在 Adiac 数据集上，HC-AECS 相较于 HC-DDTW 实现 47 倍的加速，证明了其在序列长度增加时的强可扩展性。
• 在改进的 Hubert 统计量评估中引入马氏距离，是一项新颖贡献，显著提升了聚类质量并实现了有效的内部验证。
• HC-AECS 在 ECG200、FordB 和 Wafer 等多样化数据集上，与 K-Shape 和 HC-DDTW 相比，达到竞争性或更优的 Rand Index（RI）分数，证实其鲁棒性与泛化能力。