[論文レビュー] On Symmetric and Asymmetric LSHs for Inner Product Search

Behnam Neyshabur, Nathan Srebro|arXiv (Cornell University)|Oct 21, 2014

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 59

ひとこと要約

この論文は、クエリが正規化されており、データベースベクトルが有界である場合に、最大内積検索（MIPS）に対して対称な局所性に敏感なハッシュ（LSH）方式—simple-lsh—を構築できることを示している。これは、ShrivastavaとLi（2014a）が提案した非対称LSHを上回る。主な貢献は、この設定では非対称性が不要であることを証明し、simple-lshがパラメータフリーであり、普遍的かつ理論的にも実験的にも従来の非対称手法を上回ることを示したことである。

ABSTRACT

We consider the problem of designing locality sensitive hashes (LSH) for inner product similarity, and of the power of asymmetric hashes in this context. Shrivastava and Li argue that there is no symmetric LSH for the problem and propose an asymmetric LSH based on different mappings for query and database points. However, we show there does exist a simple symmetric LSH that enjoys stronger guarantees and better empirical performance than the asymmetric LSH they suggest. We also show a variant of the settings where asymmetry is in-fact needed, but there a different asymmetric LSH is required.

研究の動機と目的

• 最大内積検索（MIPS）における対称LSHと非対称LSHのどちらが優れているかを解明すること。
• 内積類似度における対称LSHまたは非対称LSHが理論的に可能となる条件を明確にすること。
• 普遍的で、パラメータフリーであり、理論的および実践的両面で既存の非対称LSHを上回る新しい対称LSH（simple-lsh）を提案すること。
• クエリが正規化されておりデータが有界である場合に、非対称性が必須であるという誤解を是正すること。
• 非対称LSHが真に必要となる状況を特定し、その場合に適切な非対称LSHを提供すること。

提案手法

• 内積と単位ノルムを保存する埋め込みを用いて、ベクトルをマッピングする対称LSH、simple-lshを提案する。
• 変換 $ P(x) = [x; \sqrt{1 - \|x\|_2^2}; 0] $ および $ Q(y) = [y; 0; \sqrt{1 - \|y\|_2^2}] $ を用い、$ P(x)^\top Q(y) = x^\top y $ かつ $ \|P(x)\| = \|Q(y)\| = 1 $ を満たす。
• ランダムな超平面を用いて $ h_a(z) = \text{sign}(a^\top z) $ を用い、バイナリーハッシュコードを生成する。
• 衝突確率 $ \mathbb{P}[h_a(P(x)) = h_a(Q(y))] = 1 - \frac{\cos^{-1}(x^\top y)}{\pi} $ が内積に関して単調増加であり、ALS Hの性質を満たすことを証明する。
• 既存の非対称LSH（l2-alsh(sl) および sign-alsh(sl)）の理論的限界を分析し、有界なノルム下でも普遍的ALS Hでないことを示す。
• すべての $ \mathbb{R}^d $ 上には対称または非対称LSHは存在しないが、有界かつ正規化された設定では両者が可能であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 クエリが正規化されており、データベースベクトルが有界である場合に、内積類似度に対して対称LSHが可能か？
• RQ2 正規化されたクエリと有界なデータを持つ標準的なMIPS設定において、非対称性が理論的または実践的利点をもたらすか？
• RQ3 ShrivastavaとLi（2014a）が提案した非対称LSHは、普遍的適用可能か、それとも問題固有のチューニングを要するか？
• RQ4 どのような条件下で、内積検索における非対称LSHが真に必要となるか？
• RQ5 パラメータフリーで普遍的かつ対称なLSHをMIPSに対して構築可能か？

主な発見

• クエリが正規化されており、データベースベクトルが有界である場合に、対称LSH—simple-lsh—が存在し、普遍的適用可能である。これは、非対称性が必須であるという主張と矛盾する。
• simple-lshはパラメータフリーであり、ShrivastavaとLi（2014a）が提案した非対称なl2-alsh(sl)およびsign-alsh(sl)よりも理論的保証と実験的性能が優れている。
• l2-alsh(sl)およびsign-alsh(sl)は普遍的ALS Hではない。正規化および有界な設定下でも、すべての $ S, c $ に対して必要な衝突確率条件を満たさない。
• すべての $ \mathbb{R}^d $ 上には対称または非対称LSHは存在しない。これは内積が無限大に発散する性質による。
• クエリとデータベクトルが両方とも有界であるが、クエリが正規化されていない場合、対称LSHは不可能であるが、普遍的な非対称LSH（simple-alsh）を構築可能である。
• 本論文は、非対称性が真に必要となるのは有界だが正規化されていない設定であり、その場合に適切な非対称LSHを提供することを確立した。