[论文解读] Lower Bounds on Time-Space Trade-Offs for Approximate Near Neighbors

Alexandr Andoni, Thijs Laarhoven+2 more|arXiv (Cornell University)|May 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 62被引用 4

一句话总结

本文在高维空间中建立了近似最近邻（ANN）问题的时间-空间权衡的紧致、无条件的下界，表明所有基于哈希的方法在本质上存在局限。通过将问题与局部可解码码（LDCs）联系起来，证明了最优的空间与查询时间权衡，对单探针和双探针情形实现了紧致下界，并通过先前的技术将结果扩展至整个欧几里得空间。

ABSTRACT

We show tight lower bounds for the entire trade-off between space and query time for the Approximate Near Neighbor search problem. Our lower bounds hold in a restricted model of computation, which captures all hashing-based approaches. In articular, our lower bound matches the upper bound recently shown in [Laarhoven 2015] for the random instance on a Euclidean sphere (which we show in fact extends to the entire space $\mathbb{R}^d$ using the techniques from [Andoni, Razenshteyn 2015]). We also show tight, unconditional cell-probe lower bounds for one and two probes, improving upon the best known bounds from [Panigrahy, Talwar, Wieder 2010]. In particular, this is the first space lower bound (for any static data structure) for two probes which is not polynomially smaller than for one probe. To show the result for two probes, we establish and exploit a connection to locally-decodable codes.

研究动机与目标

• 在高维空间中建立近似最近邻（ANN）问题的时间-空间权衡的紧致、无条件的下界。
• 弥合基于哈希的ANN数据结构已知上界与下界之间的差距。
• 证明在欧几里得球面上随机实例上最近取得的上界可推广至整个空间 ℝᵈ。
• 为双探针数据结构提供首个空间下界，其规模不比单探针下界小多项式级别。
• 建立ANN与局部可解码码（LDCs）之间的新联系，以推导紧致下界。

提出的方法

• 构建一个受限计算模型，以捕捉所有基于哈希的ANN方法，从而支持形式化的下界分析。
• 利用单元探测模型，为单探针和双探针数据结构推导出紧致下界，优于先前工作。
• 建立ANN问题与局部可解码码（LDCs）之间的联系，利用LDCs推导出强下界。
• 应用[AR15]中的技术，将球面上的下界结果扩展至整个欧几里得空间 ℝᵈ。
• 使用自适应到非自适应的归约方法，将自适应查询策略的结果推广至非自适应查询策略。
• 采用概率分析和对随机输入的期望计算，以界定成功概率并推导下界。

实验结果

研究问题

• RQ1 在高维空间中，近似最近邻搜索的最紧致时间-空间权衡是什么？
• RQ2 能否为双探针数据结构建立与单探针下界强度相当的无条件下界？
• RQ3 ANN问题与局部可解码码（LDCs）之间是否存在根本性联系？
• RQ4 能否将欧几里得球面上随机实例的下界扩展至整个空间 ℝᵈ？
• RQ5 基于哈希的ANN数据结构在空间与查询时间之间的最优权衡是什么？

主要发现

• 本文为单探针和双探针建立了紧致、无条件的单元探测下界，表明双探针的空间下界不会比单探针小多项式级别。
• 该下界与[Laa15c]中针对欧几里得球面上随机实例的最佳已知上界完全匹配，且该结果可推广至整个空间 ℝᵈ。
• 本文证明，对于任何进行两次查询的数据结构，其空间需求为 Ω(n^{1/σ² - o(1)})（给定近似因子），与已知上界一致。
• 建立了与局部可解码码（LDCs）的新联系，通过LDC的鲁棒性与扩展性质，实现了紧致下界的推导。
• 从自适应查询到非自适应查询的归约表明，即使自适应算法也无法在成功概率方面显著优于非自适应算法，从而保持了下界强度。
• 结果表明，所有基于哈希的ANN方法在所推导的权衡下存在根本性限制，任何此类方法都无法突破已建立的下界。