[論文レビュー] Fast Cross-Polytope Locality-Sensitive Hashing

Christopher Kennedy, Rachel Ward|arXiv (Cornell University)|Feb 22, 2016

Advanced Image and Video Retrieval Techniques被引用数 1

ひとこと要約

本稿では、角距離（angular distance）のための高速版クロスポリトープ局所性に敏感なハッシュ（LSH）を提案する。密なガウス行列を高速ジョンソン＝リンデストラス変換（JL変換）と離散的擬似回転に置き換えることで、ハッシュ計算時間を 𝒪(d²) から 𝒪(d ln d) に削減する。これにより、最適な漸近的感度を維持しつつ、感度の収束速度の最適化を達成する。また、低ランダム性JL変換を用いることで、ランダムネスを 𝒪(ln⁹ d) ビットにまで削減する。

ABSTRACT

We provide a variant of cross-polytope locality sensitive hashing with respect to angular distance which is provably optimal in asymptotic sensitivity and enjoys $\mathcal{O}(d \ln d )$ hash computation time. Building on a recent result (by Andoni, Indyk, Laarhoven, Razenshteyn, Schmidt, 2015), we show that optimal asymptotic sensitivity for cross-polytope LSH is retained even when the dense Gaussian matrix is replaced by a fast Johnson-Lindenstrauss transform followed by discrete pseudo-rotation, reducing the hash computation time from $\mathcal{O}(d^2)$ to $\mathcal{O}(d \ln d )$. Moreover, our scheme achieves the optimal rate of convergence for sensitivity. By incorporating a low-randomness Johnson-Lindenstrauss transform, our scheme can be modified to require only $\mathcal{O}(\ln^9(d))$ random bits

研究の動機と目的

• 角距離のためのクロスポリトープLSHの計算コストを低減するが、最適な漸近的感度を維持すること。
• 密なガウス行列を高速ジョンソン＝リンデストラス変換と離散的擬似回転に置き換えることで、ハッシュ計算を高速化すること。
• 新しい方式においても感度の収束速度が最適であることを維持すること。
• 低ランダム性JL変換を用いることで、ランダムビットの使用量を 𝒪(ln⁹ d) にまで削減すること。

提案手法

• クロスポリトープLSHにおける密なガウス行列を高速ジョンソン＝リンデストラス変換に置き換えることで、投影計算の高速化を図る。
• 変換後のベクトルに離散的擬似回転を適用し、クロスポリトープLSHに必要な構造を維持する。
• 最近の結果（Andoniら、2015年）を活用して、変換の影響にもかかわらず感度が漸近的に最適であることを証明する。
• ジョンソン＝リンデストラス変換の低ランダム性バージョンを用いることで、ランダムビット数を 𝒪(ln⁹ d) にまで削減する。
• 得られたハッシュ関数が、局所性に敏感なハッシュに必要な角距離の性質を保持していることを保証する。
• 新しい方式が感度の収束速度の最適値を達成していることを証明する。理論的下界と一致する。

実験結果

リサーチクエスチョン

• RQ1 クロスポリトープLSHの計算コストを 𝒪(d²) から 𝒪(d ln d) に低減できるか、かつ漸近的感度を損なわないか？
• RQ2 密なガウス行列を高速ジョンソン＝リンデストラス変換と離散的擬似回転に置き換えても、クロスポリトープLSHにおける最適感度が維持されるか？
• RQ3 新しい方式においても感度の収束速度が最適水準を維持できるか？
• RQ4 高速LSHバージョンで最適感度を達成するために必要な最小ランダムビット数は何か？

主な発見

• 提案手法により、ハッシュ計算時間が 𝒪(d²) から 𝒪(d ln d) に削減され、高次元データに対して顕著な高速化が達成された。
• この方式は最適な漸近的感度を維持しており、クロスポリトープLSHの理論的下界と一致する。
• 感度の収束速度が最適であるため、次元が増加するにつれて、最良の性能に収束することが保証される。
• 低ランダム性ジョンソン＝リンデストラス変換を用いることで、ランダムネスの使用量が 𝒪(ln⁹ d) ビットにまで削減され、実用的効率が向上した。