[論文レビュー] A Greedy Approach for Budgeted Maximum Inner Product Search

Hsiang‐Fu Yu, Cho‐Jui Hsieh+2 more|arXiv (Cornell University)|Oct 11, 2016

Recommender Systems and Techniques参考文献 15被引用数 15

ひとこと要約

本稿では、計算コストの予算を満たす最大内積探索（MIPS）のための新しいグリーディアルゴリズムであるGreedy-MIPSを提案する。この手法は、近傍探索の低減を伴わない選択ベースの戦略を用いて、反復的にスコアが最も高いベクトルを選択することで、計算予算内でのトップ-k候補を効率的に特定する。624,000ベクトルのデータセット上では、ナイーブ検索と比較して200倍の高速化を達成しながらも、トップ5の精度が75％以上を維持しており、類似の速度制約下で動作する最先端手法を著しく上回っている。

ABSTRACT

Maximum Inner Product Search (MIPS) is an important task in many machine learning applications such as the prediction phase of a low-rank matrix factorization model for a recommender system. There have been some works on how to perform MIPS in sub-linear time recently. However, most of them do not have the flexibility to control the trade-off between search efficient and search quality. In this paper, we study the MIPS problem with a computational budget. By carefully studying the problem structure of MIPS, we develop a novel Greedy-MIPS algorithm, which can handle budgeted MIPS by design. While simple and intuitive, Greedy-MIPS yields surprisingly superior performance compared to state-of-the-art approaches. As a specific example, on a candidate set containing half a million vectors of dimension 200, Greedy-MIPS runs 200x faster than the naive approach while yielding search results with the top-5 precision greater than 75\%.

研究の動機と目的

• 大規模な行列分解モデルにおける予測フェーズの推論における計算ボトルネックを解消すること。特に、レコメンデーションシステムにおいて顕著である。
• 計算予算を用いて、検索の効率性と検索品質の間で制御可能なトレードオフを実現する手法を開発すること。
• 従来のMIPS手法が速度と精度のバランスにおいて柔軟性に欠けるという限界を克服すること。
• 近傍探索の低減に依存しない手法を提案すること。これは、先行する最先端技術で一般的に見られる特徴である。

提案手法

• Greリーダム・MIPSは、クエリベクトルとの内積が最大となる候補ベクトルを反復的に特定するグリーディ選択戦略を用いる。
• 動的候補ベクトル集合を維持し、最大ヒープまたは選択木を用いてトップ候補を効率的に追跡・更新する。
• 問題を最近傍探索に変換しないで、内積空間上で直接処理を行う。これにより、複雑なデータ構造への依存を回避する。
• 内積計算の回数を制限することで計算予算をサポートし、実行時における速度と精度のトレードオフを直接制御可能にする。
• 他の手法で一般的な高コストの事前処理やインデキシング手順を避けるため、単純かつ効率的な設計である。
• 性能を予算制約下でも高い水準に維持するために、アルゴリズム5（グリーディ選択）とアルゴリズム6（候補更新）の組み合わせを活用する。

実験結果

リサーチクエスチョン

• RQ1 グリーディで予算に配慮したアプローチは、速度と精度の両面で最先端のMIPS手法を上回ることができるか？
• RQ2 固定された事前処理パrameterを持つ手法と比較して、Greedy-MIPSは変動する計算予算下でどのように性能を発揮するか？
• RQ3 最近傍探索の低減を不要にするアプローチが、MIPSにおける効率性と精度の両面で優れていると言えるか？
• RQ4 次第に増加する次元数およびデータセットサイズに伴い、Greedy-MIPSの性能はどのようにスケーリングするか？
• RQ5 Greedy-MIPSは、ナイーブ検索と比較して桁違いの高速化を達成しながらも、高い精度（例：トップ5）を維持できるか？

主な発見

• 次元200、624,961ベクトルからなるYahoo-Musicデータセット上では、Greedy-MIPSはナイーブアプローチと比較して200倍の高速化を達成しながらも、トップ5精度70％を維持している。
• 同じ200倍の高速化下で、PCA-MIPS、LSH-MIPS、Diamond-MSIPSを含む他のいかなる手法も、トップ5精度10％を上回ることはできなかった。
• 次元数（k ∈ {2,5,7,10}）やデータセットサイズ（n ∈ {2^17, ..., 2^20}）が変化する中でも、Greedy-MIPSは優れた性能を維持しており、nが増加するにつれて性能差が広がり続ける。
• 選択木を用いたアルゴリズム5（グリーディ選択）の使用が、特に高次元設定下で他の変種を上回る性能を発揮している。
• 次元数が増加しても、他の手法との差はわずかに縮まるものの、Greedy-MIPSの性能は依然として頑健に保たれている。
• 評価された手法の中で、Greedy-MIPSのみがネイティブに予算付き検索をサポートしており、効率性と精度のトレードオフを直接制御可能である。