[論文レビュー] A simpler and better LSH for Maximum Inner Product Search (MIPS)

Behnam Neyshabur, Nathan Srebro|arXiv (Cornell University)|Oct 21, 2014

Advanced Image and Video Retrieval Techniques被引用数 3

ひとこと要約

本稿では、最大内積探索（MIPS）のための単純な対称的局所性に敏感なハッシュ（LSH）方式を提示する。この方式は、ShrivastavaとLiが提案した非対称LSHよりも理論的保証が強く、実験的性能も優れていることを示している。さらに、非対称性が実際に必要となる特定の状況を同定し、それらの状況では異なる非対称LSH設計を必要とする。

ABSTRACT

We consider the problem of designing locality sensitive hashes (LSH) for inner product similarity, and of the power of asymmetric hashes in this context. Shrivastava and Li argue that there is no symmetric LSH for the problem and propose an asymmetric LSH based on different mappings for query and database points. However, we show there does exist a simple symmetric LSH that enjoys stronger guarantees and better empirical performance than the asymmetric LSH they suggest. We also show a variant of the settings where asymmetry is in-fact needed, but there a different asymmetric LSH is required.

研究の動機と目的

• 最大内積探索（MIPS）に対して、対称的LSHが存在しないという仮定に挑戦すること。
• 既存の非対称アプローチよりも理論的保証が強く、実験的性能も優れた対称的LSHを設計すること。
• 非対称ハッシュが実際に必要となる特定の設定を同定・特徴づけること。

提案手法

• 入力ベクトルの単純で解析的に取り扱いやすい変換に基づく、MIPS用の新規対称的LSHを提案する。
• LSHフレームワーク内での内積関係を保持するための、特定のスケーリングを施した共通のランダムプロジェクション手法を用いる。
• 理論的分析により、新しい対称的LSHがより強い集中不等式を満たすことが証明される。
• 実験的評価により、標準的なMIPSベンチマーク上で、提案手法の対称的LSHとShrivastavaとLiの非対称LSHを比較する。
• 対称的ハッシュが失敗する特定のデータ分布設定を同定する。この場合、異なる非対称LSH設計が不可欠となる。
• 非対称バージョンは、対称的ハッシュの失敗事例に特化した異なるマッピング戦略から導出される。

実験結果

リサーチクエスチョン

• RQ1 最大内積探索（MIPS）に対して、保証付きの理論的性能を備えた対称的LSHを構築可能か？ また、既存の非対称手法よりも優れた性能を発揮できるか？
• RQ2 提案された対称的LSHは、理論的および実践的両面で、ShrivastavaとLiの非対称LSHを上回るか？
• RQ3 MIPSにおいて非対称ハッシュが真に必要となる条件は何か？ また、そのような非対称LSHはどのような形を取るべきか？

主な発見

• 提案された対称的LSHは、ShrivastavaとLiの非対称LSHよりも理論的集中不等式が強い。
• 実験結果から、標準的なMIPSデータセットにおいて、対称的LSHが非対称手法よりも検索精度と効率性に優れていることが示された。
• 対称的ハッシュが内積順序を保持できない特定のデータ分布設定が同定され、この場合において非対称性が必須であることが証明された。
• 失敗事例においては、異なる非対称LSH設計が必要であり、その設計は理論的分析をもとに導出・正当化された。
• 結果として、対称的LSHと非対称LSHの選択は、データ分布および内積構造に強く依存することが示された。