[论文解读] Approximate Nearest Neighbor Search through Comparisons

Dominique Tschopp, Suhas Diggavi|ArXiv.org|Sep 11, 2009

Data Management and Algorithms参考文献 14被引用 14

一句话总结

本文提出了一种新颖的近似最近邻搜索算法，仅依赖于相似性预言机（similarity oracle），该预言机可回答‘在两个参考对象中，哪一个更接近查询对象？’。通过利用排名失真（rank distortion）和组合框架来建模非度量、感知驱动的相似性空间，作者设计了一种分层搜索与秩敏感哈希（RSH）方案，实现了次线性查询复杂度。主要贡献包括：查询成本为 O(D³ log²n log log n^{D³})，学习成本为 O(nD³ log²n log log n^{D³})，并给出了相应的匹配下界；同时提出了一种新型RSH方案，可在 n^{O(γ/ε)} 次查询内检索出 (1+ε)r-近邻，其中 γ 为排名失真度。

ABSTRACT

This paper addresses the problem of finding the nearest neighbor (or one of the R-nearest neighbors) of a query object q in a database of n objects. In contrast with most existing approaches, we can only access the ``hidden'' space in which the objects live through a similarity oracle. The oracle, given two reference objects and a query object, returns the reference object closest to the query object. The oracle attempts to model the behavior of human users, capable of making statements about similarity, but not of assigning meaningful numerical values to distances between objects.

研究动机与目标

• 在仅能通过相似性预言机获取比较型相似度判断（而非数值距离值）的非度量空间中，实现高效的近似最近邻搜索。
• 利用排名失真与组合无序性（D）对感知相似性空间中固有的非均匀性与非传递性进行建模。
• 设计一种分层搜索算法，利用预言机响应最小化搜索过程中的查询成本。
• 提出秩敏感哈希（RSH）作为LSH在非度量、基于比较的相似性空间中的推广。
• 建立该设定下随机算法所需平均查询次数的理论下界。

提出的方法

• 使用相似性预言机，给定两个参考对象和一个查询对象，返回更接近查询对象的参考对象，以模拟类人比较行为。
• 将排名失真 γ 定义为成对排名与所有对象间平均排名差异的相关性度量，用于捕捉空间中的非均匀性。
• 引入一个组合框架，包含一个无序常数 D，用于量化排名上近似三角不等式违反的程度。
• 设计一种随机化的分层搜索结构，通过递归地利用预言机响应对空间进行划分，引导搜索向最近邻方向进行。
• 提出一种秩敏感哈希（RSH）机制，其中哈希函数通过随机选择两个对象，并根据其相对于每个数据点的接近程度分配二进制标签来构建。
• 证明 RSH 方案是 (r, (1+ε)r, 1 - f(r)/n², 1 - f((1+ε)r)/(n²γ))-秩敏感的，其性能依赖于排名失真度 γ。

实验结果

研究问题

• RQ1 能否仅通过返回比较判断的相似性预言机实现高效的近似最近邻搜索，而无需数值距离值？
• RQ2 如何对感知相似性空间中固有的非均匀性与非传递性进行表征，并在算法上加以利用？
• RQ3 在该基于预言机的设定下，随机算法的理论查询复杂度下界是什么？
• RQ4 能否设计出一种秩敏感哈希（RSH），使其在非度量、基于比较的相似性空间中模仿LSH的行为？
• RQ5 所提算法的性能如何依赖于底层空间的排名失真度与组合无序性？

主要发现

• 所提出的分层搜索算法实现了 O(D³ log²n log log n^{D³}) 的查询复杂度，学习成本为 O(nD³ log²n log log n^{D³})，其中 D 为组合无序常数。
• 在学习阶段所有预言机回答均可用的前提下，为随机算法在搜索阶段建立了 Ω(D log(n/D²) + D²) 的平均查询次数下界。
• 所提出的秩敏感哈希（RSH）方案可在 n^{O(γ/ε)} 次查询内以常数概率检索出 (1+ε)r-近邻之一，其中 γ 为排名失真度。
• 当排名失真函数 f(r) 为线性时，RSH 方案对 (1+ε)r-近似最近邻搜索的查询复杂度为 n^{O(γ/ε)}。
• RSH 方案天然地将高排名（在所有对象中均靠后）的异常值与中心化、受欢迎的对象区分开来，支持通过重复哈希实现基于流行度的排序。
• 数值结果表明，即使在高维、均匀的空间中（例如环面中的均匀点），当 r 较小时 f(r) 几乎为线性，支持了 RSH 方法的实用性。