[论文解读] A new near-linear time algorithm for k-nearest neighbor search using a compressed cover tree

Yury Elkin, Vitaliy Kurlin|arXiv (Cornell University)|Nov 30, 2021

Computational Geometry and Mesh Generation被引用 5

一句话总结

本文提出了一种新型压缩覆盖树数据结构，可在近线性时间 O(m(k + log n) log k) 内实现精确的 k-最近邻搜索，其中隐藏因子取决于最小化扩展常数 cₘ(R)，而非参考集或查询集的大小。该方法简化了先前的覆盖树构建方式，严格证明了时间复杂度界限，并解决了使用度量空间性质对 k-NN 算法进行理论分析时长期存在的漏洞。

ABSTRACT

Given a reference set $R$ of $n$ points and a query set $Q$ of $m$ points in a metric space, this paper studies an important problem of finding $k$-nearest neighbors of every point $q \in Q$ in the set $R$ in a near-linear time. In the paper at ICML 2006, Beygelzimer, Kakade, and Langford introduced a cover tree on $R$ and attempted to prove that this tree can be built in $O(n\log n)$ time while the nearest neighbor search can be done in $O(n\log m)$ time with a hidden dimensionality factor. This paper fills a substantial gap in the past proofs of time complexity by defining a simpler compressed cover tree on the reference set $R$. The first new algorithm constructs a compressed cover tree in $O(n \log n)$ time. The second new algorithm finds all $k$-nearest neighbors of all points from $Q$ using a compressed cover tree in time $O(m(k+\log n)\log k)$ with a hidden dimensionality factor depending on point distributions of the given sets $R,Q$ but not on their sizes.

研究动机与目标

• 解决使用覆盖树的 k-最近邻算法在理论时间复杂度证明中长期存在的漏洞。
• 开发一种简化且压缩的覆盖树结构，避免数据点重复，简化构建与搜索过程。
• 严格证明 k-NN 搜索可在近线性时间 O(m(k + log n) log k) 内完成，隐藏因子基于最小化扩展常数 cₘ(R)。
• 通过引入最小化扩展常数 cₘ(R)，建立新的理论基础，以更准确反映数据内在结构，优于传统的 c(R)。
• 实现对大规模材料数据库中完整不变量（如 PDD，点对距离分布）的可证明快速计算。

提出的方法

• 提出一种新型压缩覆盖树结构，消除冗余点表示，简化树的构建与搜索。
• 将最小化扩展常数 cₘ(R) 定义为：对所有 R 的局部有限超集 A，取 |B(p,2t) ∩ A| / |B(p,t) ∩ A| 的上确界在 t → 0 时的下确界，为数据复杂度提供更紧的上界。
• 通过使用递减半径的分层聚类，在 O(n log n) 时间内构建压缩覆盖树，确保每一层的稀疏性与覆盖性。
• 通过从根节点开始遍历树结构进行 k-NN 搜索，当某子树到最近邻居的距离超过第 k 个最近邻居的距离时，剪枝该子树，并利用 cₘ(R) 因子控制节点探索范围。
• 应用不等式 |Rᵢ| ≤ (cₘ(R))⁴⁺ᶜˡᵒ𝙜₂⁽²⁺¹⁄ₑ⁾ 控制每一层的候选点数量，确保近线性时间复杂度。
• 利用 cₘ(R) ≤ 2ⁿ 对任意有限子集 R ⊂ ℝⁿ 的性质，证明该方法在低维空间中具有高效性。

实验结果

研究问题

• RQ1 是否可以在 O(n log n) 时间内构建压缩覆盖树，同时保持 k-NN 搜索在近线性时间内的能力？
• RQ2 最小化扩展常数 cₘ(R) 是否能为 k-NN 搜索的复杂度提供比经典扩展常数 c(R) 更紧、更准确的上界？
• RQ3 是否可以不依赖先前工作中非正式或不完整的论述，严格证明 k-NN 搜索的时间复杂度？
• RQ4 使用压缩覆盖树时，是否可能在参考集和查询集规模上实现与它们大小无关的近线性时间复杂度？
• RQ5 新方法是否能实现对大规模材料数据库中 PDD 等完整不变量的实用、可证明的快速计算？

主要发现

• 压缩覆盖树的构建时间复杂度为 O(n log n)，显著简化了先前的构建方式，并消除了冗余。
• k-NN 搜索算法的时间复杂度为 O(m(k + log n) log k)，隐藏因子仅依赖于最小化扩展常数 cₘ(R)，与 |R| 或 |Q| 无关。
• 本文证明了对任意有限子集 R ⊂ ℝⁿ，有 cₘ(R) ≤ 2ⁿ，提供了与加倍维数概念一致的理论上限。
• 该方法通过解决 Beygelzimer 等人（2006）、Ram 等人（2009）和 March 等人（2010）的先前工作中长期存在的漏洞，填补了理论分析的空白，这些工作缺乏严格的复杂度分析。
• 该算法使在不到两天内完成对超过 66 万个周期性晶体的 PDD 不变量计算成为可能，而使用先前工具估计需耗时 34,000 年。
• 与先前方法相比，该方法实现了超过 10⁶ 倍的加速，验证了其在真实世界材料科学应用中的实际可扩展性。