[论文解读] Indexing Metric Spaces for Exact Similarity Search

Lu Chen, Yunjun Gao+5 more|arXiv (Cornell University)|May 7, 2020

Data Management and Algorithms被引用 7

一句话总结

本文对度量空间中精确相似性搜索的索引技术进行了全面的综述与实证评估，重点研究了划分、剪枝和验证策略。分析了不同方法在索引构建中的时间与空间复杂度，并在多种数据分布下提供了性能基准，为选择最优索引方法和识别研究空白提供了实用指导。

ABSTRACT

With the continued digitization of societal processes, we are seeing an explosion in available data. This is referred to as big data. In a research setting, three aspects of the data are often viewed as the main sources of challenges when attempting to enable value creation from big data: volume, velocity, and variety. Many studies address volume or velocity, while fewer studies concern the variety. Metric spaces are ideal for addressing variety because they can accommodate any data as long as it can be equipped with a distance notion that satisfies the triangle inequality. To accelerate search in metric spaces, a collection of indexing techniques for metric data have been proposed. However, existing surveys offer limited coverage, and a comprehensive empirical study exists has yet to be reported. We offer a comprehensive survey of existing metric indexes that support exact similarity search: we summarize existing partitioning, pruning, and validation techniques used by metric indexes to support exact similarity search; we provide the time and space complexity analyses of index construction; and we offer an empirical comparison of their query processing performance. Empirical studies are important when evaluating metric indexing performance, because performance can depend highly on the effectiveness of available pruning and validation as well as on the data distribution, which means that complexity analyses often offer limited insights. This article aims at revealing strengths and weaknesses of different indexing techniques to offer guidance on selecting an appropriate indexing technique for a given setting, and to provide directions for future research on metric indexing.

研究动机与目标

• 提供度量空间中精确相似性搜索现有索引技术的系统性综述。
• 分析不同方法在索引构建中的时间与空间复杂度。
• 在不同数据分布和剪枝有效性条件下，实证评估查询处理性能。
• 识别现有技术的优势与劣势，为实际部署提供指导。
• 通过突出度量索引中尚未充分探索的领域和性能瓶颈，引导未来研究。

提出的方法

• 根据索引在划分、剪枝和验证技术上的使用方式，对现有度量索引进行分类。
• 对多种索引族在索引构建过程中的时间与空间复杂度进行分析。
• 在多样化的真实世界与合成数据集上实现并基准测试广泛的度量索引。
• 在不同数据分布、距离函数和索引参数下评估查询性能。
• 将剪枝有效性和验证策略作为实证评估中的关键性能指标。
• 通过对比不同索引的结果，识别构建成本、存储与查询效率之间的权衡。

实验结果

研究问题

• RQ1 在度量空间中，哪些索引技术在构建成本、存储与查询性能之间实现了最佳平衡？
• RQ2 数据分布在多大程度上影响剪枝与验证在度量索引中的有效性？
• RQ3 理论复杂度分析在多大程度上能预测度量索引的实际性能？
• RQ4 在精确相似性搜索中，不同划分与剪枝策略的相对优劣势是什么？
• RQ5 哪些索引设计模式在不同数据类型与距离函数下最具鲁棒性？

主要发现

• 实证性能在不同索引间差异显著，常与理论复杂度预测相悖，原因在于数据分布与剪枝有效性。
• 依赖高效剪枝策略的索引在查询速度上显著优于其他索引，尤其在高维数据中表现更优。
• 划分方法的选择对构建时间和查询效率均有显著影响。
• 验证技术显著减少了误报，提升了精确相似性搜索的准确率与性能。
• 不存在一种索引结构在所有数据集上均占优；性能高度依赖于数据特征与距离函数。
• 仅靠复杂度分析不足以预测性能；实证评估对于有意义的比较至关重要。