[論文レビュー] Simple average-case lower bounds for approximate near-neighbor from isoperimetric inequalities

Yitong Yin|arXiv (Cornell University)|Feb 17, 2016

Face and Expression Recognition参考文献 17被引用数 3

ひとこと要約

本稿は、高次元のハミング空間における近似近傍探索（ANN）問題を解く決定的またはラスベガス型乱択アルゴリズムに対して、初めての平均ケースにおけるセルプローブ下界を確立する。ANNの複雑さをメトリック空間における等周不等式と結びつけ、セルサンプリングによる強化された豊かさ補題を用いることで、期待セルプローブ複雑度に対する Ω(d / log(swγ²/(nd))) の下界を証明し、最も強い既知の最悪ケース下界と一致する。

ABSTRACT

We prove an $Ω(d/\log \frac{sw}{nd})$ lower bound for the average-case cell-probe complexity of deterministic or Las Vegas randomized algorithms solving approximate near-neighbor (ANN) problem in $d$-dimensional Hamming space in the cell-probe model with $w$-bit cells, using a table of size $s$. This lower bound matches the highest known worst-case cell-probe lower bounds for any static data structure problems. This average-case cell-probe lower bound is proved in a general framework which relates the cell-probe complexity of ANN to isoperimetric inequalities in the underlying metric space. A tighter connection between ANN lower bounds and isoperimetric inequalities is established by a stronger richness lemma proved by cell-sampling techniques.

研究の動機と目的

• 決定的またはラスベガス型乱択アルゴリズムにおける近似近傍（ANN）探索の平均ケース複雑度に関する理解のギャップを埋めること。
• 一様かつ独立な入力分布の下で、高次元ハミング空間におけるANNのタイトな下界を確立すること。
• ANNのセルプローブ複雑度とそれらのメトリック空間の等周的性質を結びつける一般枠組みを構築すること。
• セルサンプリングを用いて平均ケース設定に拡張された豊かさ補題の技術を発展させ、より強い下界を得ること。
• ANNの平均ケース設定において、最高の既知の最悪ケースセルプローブ下界と一致する。

提案手法

• メトリック空間における等周不等式とANNのセルプローブ複雑度を結びつける一般枠組みを形式化する。
• セルサンプリング技術を用いて、ラスベガス型および決定的アルゴリズムにおける変動するクエリ時間に対応する強化された豊かさ補題を導入する。
• 一様入力分布を仮定した d 次元ハミング空間 {0,1}^d に対して、この枠組みを適用する。
• チェルノフの不等式とハーパーの定理を用いて、一様測度下での λ-近傍の拡張性質を確立する。
• 拡張性質と一般化された豊かさ補題を組み合わせることで、期待セルプローブ数に対する下界 Ω(d / log(swγ²/(nd))) を導出する。
• 重い尾を持つ座標を持つ分布 μ を用いて ℓ∞-ノルム空間へとアプローチを拡張し、t ≤ ρ かつ w ≤ n^{1−2δ} の条件下で sw = n^{Ω(ρ/t)} の下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 決定的またはラスベガス型乱択アルゴリズムにおける近似近傍探索のためのタイトな平均ケースセルプローブ下界を確立できるか？
• RQ2 ANNのセルプローブ複雑度は、それらのメトリック空間の等周的性質とどのように関係するか？
• RQ3 豊かさ補題の技術は、クエリ時間が入力ごとに変動する平均ケース複雑度に適応可能か？
• RQ4 一様入力分布の下で、高次元ハミング空間におけるANNのための、空間、ワードサイズ、クエリ時間の最適なトレードオフは何か？
• RQ5 この枠組みは、非一様入力分布を伴う ℓ∞ などの他のノルムへと拡張可能か？

主な発見

• d 次元ハミング空間における (γ,λ)-ANN を解く決定的またはラスベガス型乱択アルゴリズムの期待セルプローブ複雑度に対して、Ω(d / log(swγ²/(nd))) の下界が確立された。
• この下界は、静的データ構造問題における最も高い既知の最悪ケースセルプローブ下界と一致し、平均ケース複雑度に関する長年のギャップを埋めた。
• この枠組みにより、一様測度下でハミング空間における λ-近傍が (Φ,Ψ)-拡張的であることが証明され、Φ=Ψ=2^{Ω(d/γ²)} が成り立ち、等周的性質を用いた強い下界が得られる。
• 特定の重い尾を持つ分布 μ を持つ ℓ∞-ノルム空間では、t ≤ ρ かつ w ≤ n^{1−2δ} の条件下で、下界 sw = n^{Ω(ρ/t)} が導出された。
• この結果は、ランダム化と近似が可能であっても、空間が n に対して超多項式的に増加しない限り、高次元における ANN は依然として難しいことを示している。
• セルサンプリングと強化された豊かさ補題を用いた証明技法により、クエリ時間が変動するアルゴリズムに対する初めての平均ケース下界が得られ、従来の固定最悪ケース複雑度に限られた研究を拡張した。