[論文レビュー] Lower Bounds on Time-Space Trade-Offs for Approximate Near Neighbors

Alexandr Andoni, Thijs Laarhoven+2 more|arXiv (Cornell University)|May 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 62被引用数 4

ひとこと要約

この論文は、高次元空間における近似近傍（ANN）問題の時間-空間トレードオフに対して、タイトで非条件的な下界を確立し、すべてのハッシュベースのアプローチが根本的に制限されることを示している。問題を局所的に可読可能な符号（LDCs）に関連付けることで、1プローブおよび2プローブの最適な空間とクエリ時間のトレードオフを証明し、先行技術を用いて全ユークリッド空間に拡張している。

ABSTRACT

We show tight lower bounds for the entire trade-off between space and query time for the Approximate Near Neighbor search problem. Our lower bounds hold in a restricted model of computation, which captures all hashing-based approaches. In articular, our lower bound matches the upper bound recently shown in [Laarhoven 2015] for the random instance on a Euclidean sphere (which we show in fact extends to the entire space $\mathbb{R}^d$ using the techniques from [Andoni, Razenshteyn 2015]). We also show tight, unconditional cell-probe lower bounds for one and two probes, improving upon the best known bounds from [Panigrahy, Talwar, Wieder 2010]. In particular, this is the first space lower bound (for any static data structure) for two probes which is not polynomially smaller than for one probe. To show the result for two probes, we establish and exploit a connection to locally-decodable codes.

研究の動機と目的

• 高次元空間における近似近傍（ANN）問題の時間-空間トレードオフに対するタイトで非条件的な下界を確立すること。
• ハッシュベースのANNデータ構造の既知の上界と下界のギャップを埋めること。
• ユークリッド球面上のランダムなインスタンスで達成された最近の上界が、全空間 ℝᵈ に拡張可能であることを示すこと。
• 1プローブのものより多項式的に小さい空間下界でない、2プローブデータ構造に対する初めての空間下界を提供すること。
• ANNと局所的に可読可能な符号（LDCs）との新しい関連を確立し、タイトな下界を導出すること。

提案手法

• すべてのハッシュベースのANNアプローチを捉える制限付き計算モデルを構築し、形式的な下界解析を可能にする。
• セルプローブモデルを用いて1プローブおよび2プローブデータ構造のタイトな下界を導出し、先行研究を改善する。
• ANN問題と局所的に可読可能な符号（LDCs）との関連を確立し、LDCsを用いて強力な下界を導出する。
• [AR15] の技術を適用して、球面上の下界を全ユークリッド空間 ℝᵈ に拡張する。
• 適応的から非適応的への還元を用いて、適応的クエリ戦略から非適応的戦略への結果の拡張を行う。
• ランダムな入力に対する確率的解析と期待値計算を用いて、成功確率の上限を導き、下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元空間における近似近傍検索のための最もタイトな時間-空間トレードオフは何か？
• RQ2 1プローブの下界の強さと同等の、2プローブデータ構造に対する非条件的な下界を確立できるか？
• RQ3 ANN問題と局所的に可読可能な符号（LDCs）との間に根本的な関連があるか？
• RQ4 ユークリッド球面上のランダムインスタンスに対する下界を、全空間 ℝᵈ に拡張できるか？
• RQ5 ハッシュベースのANNデータ構造のための空間とクエリ時間の最適なトレードオフは何か？

主な発見

• 本論文は、1プローブおよび2プローブに対してタイトで非条件的なセルプローブ下界を確立し、2プローブの空間下界が1プローブのものより多項式的に小さくないことを示している。
• 下界は、ユークリッド球面上のランダムインスタンスに対して [Laa15c] で得られた最良の既知の上界と一致しており、この結果は全空間 ℝᵈ に拡張可能である。
• 任意の2クエリを行うデータ構造について、与えられた近似要因に対して空間量が Ω(n^{1/σ² - o(1)}) であることを証明し、既知の上界と一致している。
• 局所的に可読可能な符号（LDCs）への新しい関連を確立し、LDCのロバストネスおよび拡張性の性質を用いてタイトな下界を導出可能である。
• 適応的から非適応的への還元により、適応的アルゴリズムであっても非適応的アルゴリズムに比べて成功確率で顕著に優れることがないことが示され、下界の強さが保たれている。
• 結果として、ANNに対するすべてのハッシュベースのアプローチが導出されたトレードオフによって根本的に制限されており、このようなアプローチが確立された下界を破ることはできないことが示唆される。