[論文レビュー] Optimal lower bounds for locality sensitive hashing (except when q is tiny)

Ryan O’Donnell, Yi Wu+1 more|ArXiv.org|Dec 1, 2009

Advanced Image and Video Retrieval Techniques被引用数 3

ひとこと要約

本稿は、ハミング空間 $\{0,1\}^d$ における局所性に敏感なハッシュ（LSH）について、$q$ がゼロから離れている（つまり $2^{-\Theta(d)}$ ではない）という標準的仮定の下で、$\rho \geq 1/c - o_d(1)$ という最適な下界を確立する。証明は、ブール関数のノイズ安定性の対数凸性に依拠しており、従来の下界 $\sim 0.46/c$ が最適でないことを示し、インディクとモトワニによる上界 $\rho \leq 1/c$ が高次の項を除いてタイトであることを示している。

ABSTRACT

We study lower bounds for Locality Sensitive Hashing (LSH) in the strongest setting: point sets in {0,1}^d under the Hamming distance. Recall that here H is said to be an (r, cr, p, q)-sensitive hash family if all pairs x, y in {0,1}^d with dist(x,y) at most r have probability at least p of collision under a randomly chosen h in H, whereas all pairs x, y in {0,1}^d with dist(x,y) at least cr have probability at most q of collision. Typically, one considers d tending to infinity, with c fixed and q bounded away from 0. For its applications to approximate nearest neighbor search in high dimensions, the quality of an LSH family H is governed by how small its "rho parameter" rho = ln(1/p)/ln(1/q) is as a function of the parameter c. The seminal paper of Indyk and Motwani showed that for each c, the extremely simple family H = {x -> x_i : i in d} achieves rho at most 1/c. The only known lower bound, due to Motwani, Naor, and Panigrahy, is that rho must be at least .46/c (minus o_d(1)). In this paper we show an optimal lower bound: rho must be at least 1/c (minus o_d(1)). This lower bound for Hamming space yields a lower bound of 1/c^2 for Euclidean space (or the unit sphere) and 1/c for the Jaccard distance on sets; both of these match known upper bounds. Our proof is simple; the essence is that the noise stability of a boolean function at e^{-t} is a log-convex function of t.

研究の動機と目的

• ハミング空間におけるLSHの既知の上界 $\rho \leq 1/c$ と、従来の下界 $\sim 0.46/c$ の間のギャップを埋めること。
• インディクとモトワニが示した $\rho \leq 1/c$ の境界が、$q$ がゼロから離れている場合に漸近的に最適であることを確立すること。
• ブール関数のノイズ安定性の対数凸性に基づく、洗練された概念的証明を提供すること。
• LSHの品質を正確に反映する $q $ の範囲を明確にし、$q$ が指数的に小さい（$2^{-\Theta(d)}$）ような自明なケースを除外すること。

提案手法

• ノイズ安定性が $e^{-t}$ におけるブール関数の対数凸性を示し、これが下界の証明の中心的役割を果たす。
• ハッシュ関数の分布を構築し、距離 $r$ および $cr$ のペアの衝突確率を、濃度不等式を用いて分析する。
• チェルノフ不等式を用いて、ハミング重みに関連する二項確率変数の裾確率 $e_1$ および $e_2$ を推定する。
• 誤差項を制御するパラメータ $\Delta$ を導入し、合計誤差 $e$ の下界における $\rho$ の最小化を $\Delta$ に関して最適化する。
• 証明は、$q$ が非常に小さくない（すなわち $2^{-\Theta(d)}$ でない）という条件下で成り立つことが示され、これは $\rho = 0$ の自明な構成を避けるために不可欠である。
• 結果はユークリッド空間およびジャカード距離へと拡張され、それぞれ $\rho \geq 1/c^2$ および $\rho \geq 1/c$ が得られ、既知の上界と一致する。

実験結果

リサーチクエスチョン

• RQ1 ハミング空間におけるLSHの $\rho \leq 1/c$ の上界はタイトか？ もしくは、より小さい $\rho$ を達成できるか？
• RQ2 従来の下界 $\sim 0.46/c$ は改善可能か？ もしそうなら、どの程度改善できるか？
• RQ3 $q$ が非常に小さい（例：$2^{-\Theta(d)}$）場合、$\rho$ はLSHの品質を正確に反映しているか？
• RQ4 ノイズ安定性の性質に基づく洗練された構造的証明によって、$1/c$ の境界の最適性を示せるか？
• RQ5 $q$ がゼロから離れている場合に、$c$ の関数として $\rho$ の正しい漸近的下界は何か？

主な発見

• 本稿は、ハミング距離の下で $\{0,1\}^d$ におけるLSHに対して、$\rho \geq 1/c - o_d(1)$ というタイトな下界を確立した。これはインディクとモトワニの上界と一致する。
• この下界は、$q$ が指数的に小さくない、すなわち $q = 2^{-o(d)}$ であるという条件下で成り立つ。これは $\rho$ がLSHの品質を意味的に反映する領域である。
• 証明手法は、ブール関数のノイズ安定性の対数凸性に依拠しており、LSHの下界に向けた新規で概念的なアプローチである。
• ユークリッド空間では、$\rho \geq 1/c^2$ が得られ、既知の上界と一致し、ギャップが埋まる。
• 集合におけるジャカード距離では、$\rho \geq 1/c$ が得られ、既知の上界と一致する。
• 本稿は、従来の下界 $\sim 0.46/c$ が最適でないことを示し、$1/c$ が正しい漸近的極限であることを示している。