[論文レビュー] Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|May 22, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 255

ひとこと要約

この論文は、従来のLSHの制限を克服し、近似的最大内積検索（MIPS）のための最初の理論的保証付き部分線形時間アルゴリズムである非対称局所性に敏感なハッシュ（ALSH）を導入する。クエリベクトルとデータベクトルに非対称変換を適用することで、内積最大化問題を変換空間内の近似近傍検索問題に変換し、理論的保証と優れた実験的性能を達成した。NetflixおよびMovielensデータセットにおいて優れた性能を示した。

ABSTRACT

We present the first provably sublinear time algorithm for approximate \emph{Maximum Inner Product Search} (MIPS). Our proposal is also the first hashing algorithm for searching with (un-normalized) inner product as the underlying similarity measure. Finding hashing schemes for MIPS was considered hard. We formally show that the existing Locality Sensitive Hashing (LSH) framework is insufficient for solving MIPS, and then we extend the existing LSH framework to allow asymmetric hashing schemes. Our proposal is based on an interesting mathematical phenomenon in which inner products, after independent asymmetric transformations, can be converted into the problem of approximate near neighbor search. This key observation makes efficient sublinear hashing scheme for MIPS possible. In the extended asymmetric LSH (ALSH) framework, we provide an explicit construction of provably fast hashing scheme for MIPS. The proposed construction and the extended LSH framework could be of independent theoretical interest. Our proposed algorithm is simple and easy to implement. We evaluate the method, for retrieving inner products, in the collaborative filtering task of item recommendations on Netflix and Movielens datasets.

研究の動機と目的

• 推薦システムや機械学習分野の根本的問題である、近似的最大内積検索（MIPS）のための効率的で理論的保証付き部分線形時間アルゴリズムの欠如に対処すること。
• 正規化されていない内積とベクトルノルムの変動が原因で、標準的な局所性に敏感なハッシュ（LSH）がMIPSに不適切であることを形式的に示すこと。
• LSHフレームワークを拡張し、クエリベクトルとデータベクトルに非対称変換を適用することで、変換空間における距離ベースの検索により効率的なMIPSを実現すること。
• 既存のLSHベースの手法（例：L2LSH）を上回る性能を示す、理論的根拠に基づいた単純で実装可能なハッシュ化スキームを提供すること。
• NetflixおよびMovielensデータセットを用いた協調フィルタリングタスクにおいて、本手法の実験的妥当性を検証し、精度と再現率の顕著な向上を示すこと。

提案手法

• クエリベクトルとデータベクトルに異なる変換を適用する標準LSHフレームワークの拡張として、非対称LSH（ALSH）を提案する。
• 非対称スケーリング下での内積の数学的性質を活用し、内積最大化問題を変換空間内での近似近傍検索問題に変換する新しい変換を導入する。
• 適切に選定されたパラメータを用いたランダムプロジェクションによりハッシュ関数を構築し、変換空間内での高い内積が近いL2距離に保持されることを保証する。
• ハッシュ関数の数$K$、プロジェクション次元$m$、スケーリング係数$r$といったパラメータを用いてハッシュ化スキームを定義し、部分線形クエリ時間であることを理論的に分析する。
• クエリ$q$とデータベクトル$x$を非対称関数で変換し、変換後のベクトルに対して標準LSHを適用することでMIPSに応用する。
• パラメータ$m$、$U$、$r$を実騹的に最適化し、$m=3$、$U=0.83$、$r=2.5$が近似的に最適な性能をもたらすことが判明した。

実験結果

リサーチクエスチョン

• RQ1 ハッシュ化を用いて、近的MIPSのための理論的保証付き部分線形時間アルゴリズムを設計できるか？
• RQ2 ベクトルノルムが著しく変動する状況では、なぜ標準LSHフレームワークがMIPSの解決に不十分なのか？
• RQ3 クエリとデータベクトルに非対称変換を適用することで、近似近傍検索に還元することにより、効率的なMIPSを実現できるか？
• RQ4 非対称変換下で内積が保持される数学的性質は何か？ハッシュ化の目的に適している。
• RQ5 実世界のデータセットにおいて、L2LSHなどの既存のLSHベース手法と比較して、提案手法ALSHは検索精度と効率性の面でどのように差をつけるか？

主な発見

• ALSH手法は、NetflixおよびMovielensデータセットの両方で、すべてのテストされたトップ-$T$検索設定（$T=1,5,10$）において、L2LSHよりも顕著に高い精度と再現率を達成した。
• ハッシュ関数数$K=512$のとき、ALSHはすべてのテストされた$r$値においてL2LSHを上回る近似的に最適な性能を示した。
• $r=2.5$が近似的に最適なパフォーマンスをもたらし、精度-再現率曲線から、この値からの中程度のずれに対しても手法が頑健であることが示された。
• 本手法は、アイテムベクトルのノルムが大きく変動する実世界の応用（例：協調フィルタリング）においても、ノルムの変動に頑健である。
• ALSHの理論的枠組みは一般性を持ち、三元内積検索やバイナリデータハッシュなど、他の類似性測度への応用も可能である。
• 実験的結果から、ALSHがMIPSの実用的で効率的かつスケーラブルな解決策を提供することが確認され、大規模システムにおける高速な推薦やオブジェクト検出を可能にした。