[论文解读] A Learned Index for Exact Similarity Search in Metric Spaces

Yao Tian, Tingyun Yan+3 more|arXiv (Cornell University)|Apr 21, 2022

Data Management and Algorithms被引用 10

一句话总结

本文提出 LIMS，一种用于度量空间中精确相似性搜索的有学习索引，通过数据聚类和基于枢轴的转换，将数据组织为分布均匀且具有全序关系的簇。通过训练机器学习模型来预测数据记录的位置，LIMS 在查询处理速度、索引大小和可扩展性方面均优于传统和最先进的有学习索引，尤其在高维和动态工作负载下表现更优。

ABSTRACT

Indexing is an effective way to support efficient query processing in large databases. Recently the concept of learned index, which replaces or complements traditional index structures with machine learning models, has been actively explored to reduce storage and search costs. However, accurate and efficient similarity query processing in high-dimensional metric spaces remains to be an open challenge. In this paper, we propose a novel indexing approach called LIMS that uses data clustering, pivot-based data transformation techniques and learned indexes to support efficient similarity query processing in metric spaces. In LIMS, the underlying data is partitioned into clusters such that each cluster follows a relatively uniform data distribution. Data redistribution is achieved by utilizing a small number of pivots for each cluster. Similar data are mapped into compact regions and the mapped values are totally ordinal. Machine learning models are developed to approximate the position of each data record on disk. Efficient algorithms are designed for processing range queries and nearest neighbor queries based on LIMS, and for index maintenance with dynamic updates. Extensive experiments on real-world and synthetic datasets demonstrate the superiority of LIMS compared with traditional indexes and state-of-the-art learned indexes.

研究动机与目标

• 为解决现有有学习索引在高维度度量空间中的局限性，包括缺乏对精确相似性搜索的支持以及因维度灾难导致的性能下降。
• 设计一种基于磁盘的有学习索引结构，支持在无坐标分区依赖的度量空间中进行精确点查询、范围查询和 k-NN 查询。
• 通过利用数据聚类、基于枢轴的转换以及用于位置预测的有学习模型，降低存储开销并提高查询效率。
• 通过增量重训练和部分重建，实现高效索引维护，以应对动态更新。
• 在保持精确性的同时实现高性能和高可扩展性，避免近似有学习索引中常见的误报（假阴性）。

提出的方法

• LIMS 使用基于距离的聚类将度量空间数据划分为簇，以确保每个簇内数据分布均匀。
• 针对每个簇，选择一组少量的枢轴点，将数据对象转换为到这些枢轴点的距离向量，从而将维度降低至枢轴点的数量。
• 基于枢轴的转换将相似数据映射到紧凑且有序的区域，实现对数据记录的全序排列，从而支持高效查找。
• 训练机器学习模型（排序预测模型）以预测每个数据记录在磁盘上的相对位置，从而实现 O(1) 的基于函数的查找，而非树遍历。
• 通过在有学习模型输出上使用指数查找来处理范围查询和 k-NN 查询，最大限度减少距离计算和 I/O 操作。
• 通过在插入操作后对受影响簇进行增量重训练来支持索引维护，平均每个簇的重训练时间为 0.5 秒。

实验结果

研究问题

• RQ1 能否为度量空间中的精确相似性搜索有效设计一种有学习索引，其中既无坐标结构也无维度信息？
• RQ2 基于枢轴的数据转换与聚类在高维度度量空间的有学习索引中，如何缓解维度灾难的影响？
• RQ3 与 B+ -树和传统索引相比，有学习模型在相似性查询处理中能多大程度上降低 I/O 和 CPU 成本？
• RQ4 LIMS 在动态数据更新下如何保持性能？增量索引维护的开销如何？
• RQ5 基于有学习模型的方法在度量空间中能否同时实现高准确率和低存储开销？

主要发现

• 即使在向 1000 万条记录的数据集插入 4 万条记录后，LIMS 的查询性能仍比第二好的索引快达 3.4 倍（28.05ms vs. 94.68ms），且性能下降缓慢而稳定。
• LIMS 将索引大小减少至 GaussMix 上 R*-tree 的 1/3，以及 Signature 上 ML 的 1/23，展现出显著的存储效率。
• LIMS 中基于有学习模型的查找避免了 O(log n) 的树遍历，实现每个查询 O(1) 的函数调用，随着数据规模增大，性能优势愈加明显。
• 平均每个簇的重训练仅需 0.5 秒，支持高效动态维护，且开销极低。
• LIMS 在 CPU 时间和总查询时间上均优于 N-LIMS（后者使用 B+ -树而非有学习模型），证实了机器学习在位置预测中的有效性。
• LIMS 保持了精确性，无任何假阴性，优于近似有学习索引，同时在速度和存储效率方面表现更优。