[論文レビュー] Improved Asymmetric Locality Sensitive Hashing (ALSH) for Maximum Inner Product Search (MIPS)

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|Oct 20, 2014

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 31

ひとこと要約

本稿では、最大内積検索（MIPS）を相関近傍探索（correlation-NNS）に変換する新しい非対称局所性に敏感なハッシュ化方式、Sign-ALSHを提案する。理論的および実験的結果により、特にデータノルムの変動が大きい状況下でも、L2-ALSH手法に比べて再現率と計算効率の両面で顕著に優れていることが示された。

ABSTRACT

Recently it was shown that the problem of Maximum Inner Product Search (MIPS) is efficient and it admits provably sub-linear hashing algorithms. Asymmetric transformations before hashing were the key in solving MIPS which was otherwise hard. In the prior work, the authors use asymmetric transformations which convert the problem of approximate MIPS into the problem of approximate near neighbor search which can be efficiently solved using hashing. In this work, we provide a different transformation which converts the problem of approximate MIPS into the problem of approximate cosine similarity search which can be efficiently solved using signed random projections. Theoretical analysis show that the new scheme is significantly better than the original scheme for MIPS. Experimental evaluations strongly support the theoretical findings.

研究の動機と目的

• 高次元空間における変動するデータノルムを伴う効率的な最大内積検索（MIPS）の課題に対処すること。
• 対称ハッシュ化と従来の非対称LSH（L2-ALSH）の限界を克服するため、新たな変換フレームワークを導入すること。
• MIPSのための計算コストを低減しつつ高い検索精度を維持できる、証明可能な効率性を持つハッシュ化方式を開発すること。
• 理論的および実験的検証を通じて、本手法が従来のALSH手法を上回ることを示すこと。

提案手法

• クエリおよびデータポイントをノルムでスケーリングすることにより、MIPSを相関-NNSに変換する新しい非対称変換を提案する。
• 相関-NNSのためのLSH族として符号ランダムプロジェクション（SRP）を採用し、ハッシュ関数を $ h^{\text{Sign}}(x) = \text{sign}(a^T x) $ と定義する。
• 衝突確率 $ \Pr(h^{\text{Sign}}(x) = h^{\text{Sign}}(y)) = 1 - \frac{1}{\pi} \cos^{-1}(\text{corr}(x,y)) $ を用いることで、類似度が高いほど衝突確率が高くなるように保証する。
• MIPSを相関-NNSに変換するため、変換 $ Q(q) = \frac{q}{\|q\|} $ および $ P(x) = \frac{x}{\|x\|} $ を適用する。
• 実用的評価のため、$ K $ 個のハッシュを1テーブルに、$ L $ テーブルを用いた $(K,L)$-LSHバケット化方式を実装する。
• FIPと再現率の公平な比較のため、$ K \in \{4,\dots,20\} $ および $ L \in \{1,\dots,200\} $ の範囲で体系的なパラメータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 L2-ALSHフレームワークを超えて、新たな非対称変換がMIPSの効率性と正確性を向上させられるか？
• RQ2 符号ランダムプロジェクションを用いたMIPSから相関-NNSへの変換が、理論的および実験的両面で優れた性能をもたらすか？
• RQ3 Sign-ALSHとL2-ALSHの間で、再現率および内積評価の割合（FIP）という観点から性能を比較するとどうなるか？
• RQ4 Sign-ALSHの性能は、$ K $ および $ L $ の異なるパラメータ設定に対しても安定しているか？

主な発見

• すべてのテストデータセットおよびトップ-$ T $ 値において、Sign-ALSHはL2-ALSHに比べて顕著に高い再現率を達成しており、検索品質の向上を示している。
• 同じ再現率水準において、Sign-ALSHはL2-ALSHに比べて内積評価回数（FIP）が少ないことを確認した。これは、計算上の優位性を示している。
• Sign-ALSHの性能は、$ K $ と $ L $ のさまざまな組み合わせにおいて一貫しており、パラメータ選択に対して頑健であることが示された。
• 理論的解析により、Sign-ALSHの $ \rho $-値がL2-ALSHよりも優れていることが確認され、漸近的なクエリ時間計算量の改善が示唆された。
• LSHバケット化実験において、Sign-ALSHはL2-ALSHに比べて、あらゆる再現率水準でより低いFIPを達成し、最適なFIP-再現率トレードオフを実現した。
• MovieLensおよびSIFTの両データセットで一貫した結果が得られたため、本手法の一般化可能性が裏付けられた。