[论文解读] Efficient Discovery of Variable-length Time Series Motifs with Large Length Range in Million Scale Time Series

Yifeng Gao, Jessica Lin|arXiv (Cornell University)|Feb 13, 2018

Time Series Analysis and Forecasting参考文献 24被引用 10

一句话总结

本文提出 HIME，一种分层近似算法，可高效地在百万量级时间序列中跨广泛长度范围（300–3000）发现变长时间序列模式。通过利用符号表对变长子序列进行索引，并采用贪心的分层枚举策略，HIME 实现了亚分钟级的执行时间——显著优于现有最先进方法在类似任务中需数小时甚至数天的性能。

ABSTRACT

Detecting repeated variable-length patterns, also called variable-length motifs, has received a great amount of attention in recent years. Current state-of-the-art algorithm utilizes fixed-length motif discovery algorithm as a subroutine to enumerate variable-length motifs. As a result, it may take hours or days to execute when enumeration range is large. In this work, we introduce an approximate algorithm called HierarchIcal based Motif Enumeration (HIME) to detect variable-length motifs with a large enumeration range in million-scale time series. We show in the experiments that the scalability of the proposed algorithm is significantly better than that of the state-of-the-art algorithm. Moreover, the motif length range detected by HIME is considerably larger than previous sequence-matching based approximate variable-length motif discovery approach. We demonstrate that HIME can efficiently detect meaningful variable-length motifs in long, real world time series.

研究动机与目标

• 解决在大规模时间序列中进行变长模式发现时的可扩展性瓶颈，尤其是在模式长度范围较广的情况下。
• 克服固定长度模式发现的局限性，后者无法在单次运行中检测到长度各异、未知的模式。
• 实现对长周期、稀有且具有意义的模式的高效检测，这些模式因高噪声和长度限制而被现有基于序列匹配的方法所遗漏。
• 为涉及百万量级时间序列的实际应用场景（如电力使用、基因组学和生物声学）提供实用解决方案。
• 将模式发现的应用范围从固定长度模式扩展至复杂、重复的结构，以揭示多样化领域中的深层模式。

提出的方法

• 使用符号表存储变长时间序列子序列的离散化表示，实现高效的索引与比较。
• 应用分层枚举策略，从最小模式长度开始，基于相似度评分贪心地扩展至更长的模式。
• 利用分段聚合近似（PAA）降低维度和噪声，提升可扩展性与鲁棒性。
• 集成贪心搜索机制，优先处理高密度模式候选，从而减少距离计算次数。
• 采用滑动窗口方法将时间序列离散化为符号序列，随后通过符号表查找识别重复模式。
• 应用查询算法检索所有检测到的模式实例，支持模式出现情况的验证与分析。

实验结果

研究问题

• RQ1 近似算法能否在百万量级时间序列中，高效发现长度范围广泛（例如300–3000）的变长模式？
• RQ2 与最先进的固定长度模式发现算法及基于语法的变长模式发现算法相比，所提出的 HIME 算法在可扩展性和执行时间方面表现如何？
• RQ3 HIME 能否检测到固定长度或基于序列匹配方法所遗漏的长周期、稀有且具有生物学或行为学意义的模式？
• RQ4 HIME 的分层符号化方法在计算复杂度和实际可行性方面，相较于暴力枚举或穷举搜索方法，优势有多大？
• RQ5 HIME 能否在真实时间序列（如 DNA 序列、鸟类鸣叫和电力使用数据）中发现此前未被检测到的结构化模式？

主要发现

• HIME 在一千万长度的时间序列中，可在一分钟内检测到长度从300到3000的模式，展现出卓越的可扩展性。
• 该算法成功识别出长周期、稀有的模式——例如在冰箱电力使用数据中发现10小时的周期模式，在人类Y染色体DNA中发现长度达22,000的模式——这些模式在固定长度模式发现或序列匹配方法中均无法被检测到。
• 在长度为740万的电力使用时间序列中，HIME 识别出一个每间隔1个月零7天出现一次的稀有模式，该模式在较短时间窗口内将被遗漏。
• 在洗碗机电力需求序列中，HIME 检测到一个1534点（2.5小时）和一个2791点（4.6小时）的模式，而固定长度模式发现方法在350点周期下则完全遗漏了这些模式。
• 在鸟类声学数据中，HIME 识别出物种特异的模式，如1.5秒的静默间隔和0.5秒的叫声间隙，揭示了固定长度方法无法捕捉的行为学特征。
• 与基于语法归纳的方法相比，HIME 将可检测模式的长度范围提升了整整一个数量级，实现了对长周期、高噪声但高度相似子序列的发现。