[论文解读] An Algorithm for Reducing Approximate Nearest Neighbor to Approximate Near Neighbor with O(logn) Query Time

Hengzhao Ma, Jianzhong Li|arXiv (Cornell University)|Sep 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 20被引用 5

一句话总结

本文提出了一种从近似最近邻（ε-NN）问题到近似近邻（c,r）-NN 问题的新型归约方法，通过利用盒子分割树数据结构，实现了 O(log n) 的查询时间。该方法确保每次查询仅调用 (c,r)-NN 算法 O(log n) 次，通过精心的参数调节与分层盒子划分，显著优于以往的 polylog(n) 边界。

ABSTRACT

This paper proposes a new algorithm for reducing Approximate Nearest Neighbor problem to Approximate Near Neighbor problem. The advantage of this algorithm is that it achieves O(log n) query time. As a reduction problem, the uery time complexity is the times of invoking the algorithm for Approximate Near Neighbor problem. All former algorithms for the same reduction need polylog(n) query time. A box split method proposed by Vaidya is used in our paper to achieve the O(log n) query time complexity.

研究动机与目标

• 为解决现有从 ε-NN 到 (c,r)-NN 的归约方法中查询时间效率低下的问题，这些方法此前需要对 (c,r)-NN 算法进行 polylog(n) 次调用。
• 设计一种预处理数据结构，以实现在分层盒子之间高效、对数时间的查询路由。
• 在保持近似保证的前提下，最小化每次 ε-NN 查询所调用的 (c,r)-NN 查询次数。
• 减少由盒子分割引入的维度 d 的指数依赖，尽管这一问题仍为开放挑战。

提出的方法

• 采用盒子分割树数据结构，其中每个内部节点表示对点集的盒子划分，具有至少两个子节点且最多 n 个子节点。
• 对空间进行分层分解，形成嵌套的盒子结构，确保盒子中的所有点在树结构中处于同一层级。
• 为每个盒子维护一组邻接盒子（Nbr）和一个估计的最小距离（Est），以保持跨层级的邻近信息。
• 设计查询过程，使每个盒子分割树的层级仅调用一次 (c,r)-NN 算法，从而将总调用次数限制在 O(log n)。
• 根据盒子的大小和其到查询点的估计距离，为每次 (c,r)-NN 调用调节输入参数。
• 使用最小堆数据结构维护 Nbr 集合，以支持在 O(log n) 时间内完成插入、删除和最小距离访问。

实验结果

研究问题

• RQ1 能否将每次 ε-NN 查询所调用的 (c,r)-NN 查询次数减少至低于 polylog(n)？
• RQ2 是否可以通过使用分层盒子划分方案，将 ε-NN 问题归约为 (c,r)-NN 问题，并实现 O(log n) 的查询时间？
• RQ3 如何设计预处理阶段，以支持在盒子之间实现对数时间的查询路由？
• RQ4 此类归约中，维度依赖与查询效率之间的权衡是什么？

主要发现

• 所提出的算法实现了 O(log n) 的查询时间复杂度，这是目前从 ε-NN 到 (c,r)-NN 的归约方法中最优的。
• 预处理时间复杂度为 O((d/ε)^d · n log n)，其随维度和近似因子而增长。
• 空间复杂度为 O((d/ε)^d · n)，由盒子数量以及每个盒子的邻接集大小决定。
• 该算法确保每个 (c,r)-NN 查询最多在盒子分割树的每一层被调用一次，从而总调用次数为 O(log n)。
• 盒子分割树的构造保证了最多 2n 个节点，从而在预处理期间实现了高效的空间与时间复杂度。
• 该方法通过将 (c,r)-NN 调用次数从 polylog(n) 降低至 O(log n)，显著提升了查询效率，优于以往的归约方法。