[论文解读] Return of the Lernaean Hydra: Experimental Evaluation of Data Series Approximate Similarity Search

Karima Echihabi, Kostas Zoumpatianos+2 more|arXiv (Cornell University)|Jun 20, 2020

Time Series Analysis and Forecasting参考文献 139被引用 15

一句话总结

本文提出并评估了基于扩展精确数据序列索引方法的近似相似性搜索技术，以提供准确性的理论保证。结果表明，这些改进后的数据序列方法在磁盘上显著优于最先进的基于向量的近似技术，且在实际性能和误差边界紧致性方面优于LSH方法。

ABSTRACT

Data series are a special type of multidimensional data present in numerous domains, where similarity search is a key operation that has been extensively studied in the data series literature. In parallel, the multidimensional community has studied approximate similarity search techniques. We propose a taxonomy of similarity search techniques that reconciles the terminology used in these two domains, we describe modifications to data series indexing techniques enabling them to answer approximate similarity queries with quality guarantees, and we conduct a thorough experimental evaluation to compare approximate similarity search techniques under a unified framework, on synthetic and real datasets in memory and on disk. Although data series differ from generic multidimensional vectors (series usually exhibit correlation between neighboring values), our results show that data series techniques answer approximate %similarity queries with strong guarantees and an excellent empirical performance, on data series and vectors alike. These techniques outperform the state-of-the-art approximate techniques for vectors when operating on disk, and remain competitive in memory.

研究动机与目标

• 统一术语并基于质量保证对来自数据序列和多维向量社区的相似性搜索技术进行分类。
• 将现有的精确数据序列索引结构扩展为支持具有理论近似误差边界的δ-ε-近似查询。
• 在内存内和外存环境下对近似相似性搜索进行全面且无偏的实验评估。
• 比较数据序列专用方法与通用向量近似搜索技术在效率和准确性方面的表现。
• 根据数据集大小、准确率需求和硬件约束，为选择最佳方法提供实用建议。

提出的方法

• 基于所提供保证的质量，提出相似性搜索方法的分类体系，统一数据序列和多维向量社区的术语。
• 修改现有的精确数据序列索引结构（如DSTree、iSAX2+），以支持具有近似误差理论边界的δ-ε-近似查询。
• 开发所有方法的优化C/C++实现，包括对先前使用高级语言实现的算法的新版本，运行速度更快。
• 采用统一的实验框架，使用合成数据集和真实世界数据集，包括两个最大的公开可用向量数据集（Deep25GB和Deep250GB）。
• 使用多种指标评估性能：查询时间、索引构建时间、召回率、平均精度均值（MAP）和近似误差。
• 引入并评估增量式和渐进式查询回答策略，以提升交互性并适应用户需求。

实验结果

研究问题

• RQ1 数据序列专用的近似相似性搜索方法在准确率和效率上与通用向量近似搜索技术相比如何？
• RQ2 能否将精确数据序列索引方法扩展为支持具有近似误差理论保证的近似查询？
• RQ3 在不同数据规模、存储模型（内存内 vs. 磁盘）和工作负载下，不同近似搜索技术的相对优缺点是什么？
• RQ4 LSH和其他概率方法的性能与准确率与所提出的确定性、有界误差方法相比如何？
• RQ5 索引构建时间、查询响应时间和硬件利用率对选择最优近似搜索方法的实际影响是什么？

主要发现

• 改进后的数据序列索引方法（如DSTree、iSAX2+）在磁盘上持续优于最先进的基于向量的近似技术（如HNSW和IMI），主要得益于更优的索引构建和查询效率。
• 所提出的精确数据序列方法扩展实现了强大的理论保证（δ = 1），且在实际中表现出远超理论边界的准确率，优于依赖概率保证（δ < 1）的LSH方法。
• HNSW和IMI需要大量手动调参和长时间训练（每次运行超过40小时），在许多真实应用场景中不切实际，尤其在处理大规模数据集时。
• DSTree在整体表现中位居第一，尤其在考虑索引构建时间时，推荐用于大多数工作负载，除非是小型内存内数据集，此时HNSW表现更优。
• 对于ng-近似查询，iSAX2+表现具有竞争力，且可通过现代硬件（如SIMD、多核和GPU加速）进一步提升性能。
• 结果表明，渐进式查询回答是一种有前景的研究方向，即逐步返回中间结果，随着精度提升直至找到精确答案。