[论文解读] Efficient Construction of Neighborhood Graphs by the Multiple Sorting Method

Takeaki Uno, Masashi Sugiyama+1 more|ArXiv.org|Apr 21, 2009

Graph Labeling and Dimension Problems参考文献 18被引用 9

一句话总结

该论文提出了一种新颖的方法，通过结合随机投影与多重排序法（MSM），在连续数据中高效构建 ǫ-邻域图，实现 O(n + m) 的时间复杂度。该方法在大规模机器学习任务中实现了快速且可扩展的图构建，同时通过多轮随机投影副本的概率保证，将缺失边的比例控制在接近零的水平。

ABSTRACT

Neighborhood graphs are gaining popularity as a concise data representation in machine learning. However, naive graph construction by pairwise distance calculation takes $O(n^2)$ runtime for $n$ data points and this is prohibitively slow for millions of data points. For strings of equal length, the multiple sorting method (Uno, 2008) can construct an $ε$-neighbor graph in $O(n+m)$ time, where $m$ is the number of $ε$-neighbor pairs in the data. To introduce this remarkably efficient algorithm to continuous domains such as images, signals and texts, we employ a random projection method to convert vectors to strings. Theoretical results are presented to elucidate the trade-off between approximation quality and computation time. Empirical results show the efficiency of our method in comparison to fast nearest neighbor alternatives.

研究动机与目标

• 解决在大规模数据集上构建 ǫ-邻域图时 O(n²) 的成对距离计算带来的计算瓶颈。
• 将原本专为字符串数据设计的多重排序法（MSM）通过随机投影扩展至连续向量空间。
• 在显式控制结果邻域图中预期缺失边比例的同时，实现高效率。
• 证明将 MSM 与随机投影结合使用，在实际应用中优于现有精确方法（如覆盖树），尤其是在大规模场景下。

提出的方法

• 通过随机投影使用局部敏感哈希（LSH）将连续向量映射为二进制字符串，以在汉明距离中保持邻近性。
• 应用多重排序法（MSM）在 O(n + m) 时间内高效枚举所有汉明距离 ≤ d 的字符串对，其中 m 是此类对的数量。
• 使用多轮随机投影副本以降低遗漏真实邻居的概率，并提供缺失边比例的理论边界。
• 在跨副本合并邻居对时，采用去重检查机制，避免输出冗余。
• 通过将位分组为更大的字母表符号（例如每符号 20 位），优化基数排序性能，减少排序迭代次数。
• 采用分层两级结构（副本 → 块）组织数据，以提升缓存效率并增强并行化潜力。

实验结果

研究问题

• RQ1 能否通过使用随机投影将向量映射为字符串，有效将多重排序法（MSM）适配至连续数据？
• RQ2 在使用多轮随机投影副本时，计算效率与近似误差（缺失边比例）之间的权衡如何？
• RQ3 与成熟的精确方法（如覆盖树和球树）相比，所提出方法在大规模 ǫ-邻域图构建中的性能与准确性如何？
• RQ4 LSH 与 MSM 的结合能否在大规模场景下同时实现高速度与极低的缺失边比例？
• RQ5 有哪些关键的实现优化措施可进一步加速基于 MSM 的邻域图构建？

主要发现

• 所提方法在 O(n + m) 时间内构建 ǫ-邻域图，其中 m 为邻居对的数量，显著优于 O(n²) 的基线方法。
• 在 160 万张图像的实证评估中，仅使用 5 个副本且角度阈值为 0.1π 时，方法实现了零缺失边。
• 即使副本数量较少，方法仍实现了低于 1.0 × 10⁻⁶ 的缺失边比例，表明其在理论与实证上对近似误差均有强大控制能力。
• 在 160 万张图像的数据集上，该方法显著快于覆盖树，同时保持了可忽略的缺失边比例。
• 使用位分组（例如每符号 20 位）将基数排序的迭代次数从 ℓ 减少至 ⌈ℓ/20⌉，显著提升了排序性能。
• 该方法高度适合并行化与 GPU 加速，表明其在现代多核架构上具有显著的未来性能提升潜力。