[论文解读] Dynamic Enumeration of Similarity Joins

Pankaj K. Agarwal, Xiao Hu+2 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Image and Video Retrieval Techniques参考文献 43被引用 2

一句话总结

本文提出动态数据结构，以在点插入和删除操作下实现具有最坏情况延迟保证的高效相似性连接枚举。通过分层划分和局部敏感哈希（LSH），该方法为ℓ1、ℓ∞和ℓ2度量构建了近线性大小和线性大小的结构，实现了对数多对数时间的更新和延迟时间，并在高维空间中实现(1+2ε)-近似枚举。

ABSTRACT

This paper considers enumerating answers to similarity-join queries under dynamic updates: Given two sets of $n$ points $A,B$ in $\mathbb{R}^d$, a metric $ϕ(\cdot)$, and a distance threshold $r > 0$, report all pairs of points $(a, b) \in A imes B$ with $ϕ(a,b) \le r$. Our goal is to store $A,B$ into a dynamic data structure that, whenever asked, can enumerate all result pairs with worst-case delay guarantee, i.e., the time between enumerating two consecutive pairs is bounded. Furthermore, the data structure can be efficiently updated when a point is inserted into or deleted from $A$ or $B$. We propose several efficient data structures for answering similarity-join queries in low dimension. For exact enumeration of similarity join, we present near-linear-size data structures for $\ell_1, \ell_\infty$ metrics with $\log^{O(1)} n$ update time and delay. We show that such a data structure is not feasible for the $\ell_2$ metric for $d \ge 4$. For approximate enumeration of similarity join, where the distance threshold is a soft constraint, we obtain a unified linear-size data structure for $\ell_p$ metric, with $\log^{O(1)} n$ delay and update time. In high dimensions, we present an efficient data structure with worst-case delay-guarantee using locality sensitive hashing (LSH).

研究动机与目标

• 设计支持点更新（插入/删除）下高效相似性连接枚举的动态数据结构。
• 在查询处理过程中实现最坏情况延迟保证——即连续结果枚举之间的时间有界。
• 支持精确和近似相似性连接，并在低维和高维空间中提供可证明的性能界限。
• 解决在交互式或探索性数据分析中早期结果至关重要的场景下保持效率的挑战。
• 为不同ℓp度量下的相似性连接提供统一框架，包括通过LSH实现的高维ℓ2度量。

提出的方法

• 使用空间的分层划分将空间划分为桶，以高效管理邻近性查询，并使用代理桶进行近似距离检查。
• 维护代表性对和活跃桶，以减少枚举过程中的冗余计算。
• 在高维空间中应用局部敏感哈希（LSH），以实现(1+2ε)-近似相似性连接，且延迟较低。
• 引入去重机制，确保每对结果至多报告一次，从而保证正确性。
• 使用摊销分析和周期性重建，以维持更新时间界限，特别是在高维情况下。
• 利用先前LSH工作的概率保证，确保近似枚举的高概率正确性。

实验结果

研究问题

• RQ1 我们能否设计出在点更新下支持相似性连接枚举且具有最坏情况延迟保证的动态数据结构？
• RQ2 在ℓ2度量下，当d ≥4时，实现精确相似性连接的低更新时间和低延迟时间的理论极限是什么？
• RQ3 我们能否使用单一高效数据结构统一处理不同ℓp度量下的相似性连接？
• RQ4 我们如何在高维ℓ2空间中利用LSH实现高效的近似枚举？
• RQ5 在动态相似性连接处理中，近似因子、更新时间和延迟之间的权衡是什么？

主要发现

• 对于ℓ1和ℓ∞度量，本文构建了近线性大小的数据结构，其更新和延迟时间均为O(log^O(1) n)。
• 对于ℓ2度量且d ≥4的情况，在标准假设下，精确相似性连接的O(log^O(1) n)延迟和更新时间是可证明不可能实现的。
• 提出了一种统一的线性大小数据结构，适用于ℓp度量，支持(1+2ε)-近似枚举，且延迟和更新时间均为O(log^O(1) n)。
• 在高维空间中，基于LSH的方法实现了(1+2ε)-近似枚举，延迟时间为eO(dn^2ρ)，摊销更新时间为eO(dn^2ρ)，其中ρ = 1/(1+ε)^2。
• 对于汉明距离和ℓ1度量且ε > 1的情况，延迟可降低至eO(dn^ρ)，其中ρ = 1/(1+ε)，实现(3+2ε)-近似枚举。
• 该框架支持动态更新和无需重建整个结构的高效枚举，确保了实际可扩展性。