[论文解读] KV-match: An Efficient Subsequence Matching Approach for Large Scale Time Series.

Jiaye Wu, Peng Wang+3 more|arXiv (Cornell University)|Oct 2, 2017

Time Series Analysis and Forecasting参考文献 20被引用 1

一句话总结

本文提出KV-match，一种针对时间序列数据库（TSDB）系统中大规模时间序列数据的高效子序列匹配方法。它引入了一种基于文件的KV索引结构和一种查询算法，通过窗口缩减和重排等优化，实现基于顺序扫描的快速匹配，在保持索引大小与基于树的索引相当的同时，相比现有方法实现了数量级的性能提升。

ABSTRACT

Time series data have exploded due to the popularity of new applications, like data center management and IoT. Time series data management system (TSDB), emerges to store and query the large volume of time series data. Subsequence matching is critical in many time series mining algorithms, and extensive approaches have been proposed. However, the shift of distributed storage system and the performance gap make these approaches not compatible with TSDB. To fill this gap, we propose a new index structure, KV-index, and the corresponding matching algorithm, KV-match. KV-index is a file-based structure, which can be easily implemented on local files, HDFS or HBase tables. KV-match algorithm probes the index efficiently with a few sequential scans. Moreover, two optimization techniques, window reduction and window reordering, are proposed to further accelerate the processing. To support the query of arbitrary lengths, we extend KV-match to KV-match$_{DP}$, which utilizes multiple varied length indexes to process the query simultaneously. A two-dimensional dynamic programming algorithm is proposed to find the optimal query segmentation. We implement our approach on both local files and HBase tables, and conduct extensive experiments on synthetic and real-world datasets. Results show that our index is of comparable size to the popular tree-style index while our query processing is order of magnitudes more efficient.

研究动机与目标

• 解决传统子序列匹配算法与现代分布式时间序列数据库（TSDB）系统之间的性能差距。
• 设计一种与HDFS和HBase等分布式存储系统兼容的索引结构，以支持大规模时间序列数据的高效查询。
• 通过窗口缩减和窗口重排等新颖优化，加速子序列匹配。
• 通过多长度索引和基于动态规划的分段方法，将KV-match扩展为KV-match$_{DP}$，以支持任意查询长度。
• 在不牺牲索引大小的前提下实现高查询效率，确保在真实TSDB环境中的实际可部署性。

提出的方法

• 设计KV-index，一种可原生部署在本地文件、HDFS或HBase表上的基于文件的索引结构。
• 开发KV-match算法，通过最小化对索引的顺序扫描实现高效的子序列匹配。
• 引入窗口缩减技术，以最小化匹配过程中检查的候选窗口数量。
• 应用窗口重排技术，以提升缓存效率并减少查询处理过程中的I/O开销。
• 通过使用多种不同长度的索引，将KV-match扩展为KV-match$_{DP}$，以支持任意长度的查询。
• 设计一种二维动态规划算法，以确定查询在不同索引长度上的最优分段方式，从而实现最大效率。

实验结果

研究问题

• RQ1 基于文件的索引结构能否在大规模时间序列数据库中高效用于子序列匹配？
• RQ2 窗口缩减和窗口重排如何提升分布式存储系统中子序列匹配的性能？
• RQ3 在可扩展的索引结构中，处理任意长度子序列查询的最优方式是什么？
• RQ4 与现有的基于树的索引方法相比，KV-match在速度和索引大小方面的性能如何？
• RQ5 KV-match能否在本地文件系统和HBase等分布式存储系统上均实现高效率？

主要发现

• KV-match相比现有方法在查询处理性能上实现了数量级的提升，同时保持了与主流树形索引相当的索引大小。
• 窗口缩减和窗口重排优化显著减少了I/O操作次数，并提升了查询执行过程中的缓存利用率。
• KV-match$_{DP}$通过采用二维动态规划方法，将查询在多个索引结构上动态分段，成功支持了任意长度的查询。
• 所提出的方法原生兼容分布式存储系统，可在HDFS和HBase上以极低工程开销进行部署。
• 在合成数据集和真实世界数据集上的实验评估表明，KV-match在大规模时间序列工作负载中表现出高效率和良好的可扩展性。