[论文解读] Comparison Based Nearest Neighbor Search

Siavash Haghiri, Debarghya Ghoshdastidar+1 more|arXiv (Cornell University)|Apr 5, 2017

Data Management and Algorithms参考文献 29被引用 10

一句话总结

该论文提出比较树（comparison tree），一种基于比较的最近邻搜索算法，仅使用三元组比较（例如，'d(x,y) ≤ d(x,z) 吗？'）通过随机枢轴点递归地将数据点划分为平衡子集。在强展开条件下，该树以高概率实现对数高度，从而实现使用 O(n log n) 次比较的高效搜索，并界定了返回真实最近邻的失败概率。

ABSTRACT

We consider machine learning in a comparison-based setting where we are given a set of points in a metric space, but we have no access to the actual distances between the points. Instead, we can only ask an oracle whether the distance between two points $i$ and $j$ is smaller than the distance between the points $i$ and $k$. We are concerned with data structures and algorithms to find nearest neighbors based on such comparisons. We focus on a simple yet effective algorithm that recursively splits the space by first selecting two random pivot points and then assigning all other points to the closer of the two (comparison tree). We prove that if the metric space satisfies certain expansion conditions, then with high probability the height of the comparison tree is logarithmic in the number of points, leading to efficient search performance. We also provide an upper bound for the failure probability to return the true nearest neighbor. Experiments show that the comparison tree is competitive with algorithms that have access to the actual distance values, and needs less triplet comparisons than other competitors.

研究动机与目标

• 开发一种在仅能使用三元组比较而无法直接获取距离时的高效数据结构，用于最近邻搜索。
• 分析比较树在一般度量空间中于展开条件下的理论性能。
• 评估比较树相对于基于欧几里得空间和其他基于比较的方法的实证效率。
• 量化实践中查询准确率与三元组比较次数之间的权衡。

提出的方法

• 比较树通过选择两个随机枢轴点，并利用三元组比较将每个点分配给更近的枢轴点，递归地对数据集进行划分。
• 树的构建采用递归分割过程，直到子集大小低于预设阈值。
• 理论分析依赖于强展开条件，确保度量空间中球体的体积迅速增长，从而限制树的深度。
• 算法的最近邻搜索通过在每个节点将查询点与枢轴点进行比较来遍历树。
• 该方法从真实数据集中估计经验展开率，以验证理论假设。
• 实验将比较树与 KD-Tree、RP-Tree、PA-Tree 和 RCT 在多个数据集上进行比较，测量查询误差和三元组使用量。

实验结果

研究问题

• RQ1 在何种度量空间条件下，比较树能以高概率实现对数深度？
• RQ2 与现有方法相比，构建树和查询所需的三元组比较次数如何？
• RQ3 尽管缺乏直接距离访问，比较树能否实现具有竞争力的最近邻准确率？
• RQ4 真实数据集中经验展开率与理论分析中使用的假设相比如何？
• RQ5 最近邻检索的失败概率如何随数据集大小和展开参数变化？

主要发现

• 在强展开条件下，比较树以高概率实现对数高度，意味着具有高效的搜索性能。
• 比较树的构建需要 O(n log n) 次三元组比较，这在基于比较的方法中接近最优。
• 返回真实最近邻的失败概率受到限制，并随展开常数增大而减小。
• 实证结果表明，尽管仅使用比较，比较树在性能上与基于欧几里得空间的方法（如 KD-Tree 和 RP-Tree）具有竞争力。
• 与近期的基于比较的方法 RCT 相比，比较树在构建阶段使用的三元组比较次数少几个数量级，同时保持了相似的查询准确率。
• 经验展开率估计显示，除 MNIST 和 Gisette 外，大多数真实数据集均满足所需的展开条件，且常数较小。