[論文レビュー] RACE: Sub-Linear Memory Sketches for Approximate Near-Neighbor Search on Streaming Data.

Benjamin Coleman, Anshumali Shrivastava+1 more|arXiv (Cornell University)|Feb 18, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用数 4

ひとこと要約

RACEは、ストリーミングデータにおける近似近傍検索のための最初のサブ線形メモリスケッチを導入し、LSHベースの推定（ACE）、圧縮センシング、ヘビーヒッター技術を組み合わせることで、N個の高次元ベクトルをサイズO(N^b log²N)（b < 1）のスケッチに圧縮する。これにより、従来のO(N)メモリの壁を破り、高確率でトップ-v個の近傍を効率的に取得可能となる。

ABSTRACT

We demonstrate the first possibility of a sub-linear memory sketch for solving the approximate near-neighbor search problem. In particular, we develop an online sketching algorithm that can compress $N$ vectors into a tiny sketch consisting of small arrays of counters whose size scales as $O(N^{b}\log^2{N})$, where $b < 1$ depending on the stability of the near-neighbor search. This sketch is sufficient to identify the top-$v$ near-neighbors with high probability. To the best of our knowledge, this is the first near-neighbor search algorithm that breaks the linear memory ($O(N)$) barrier. We achieve sub-linear memory by combining advances in locality sensitive hashing (LSH) based estimation, especially the recently-published ACE algorithm, with compressed sensing and heavy hitter techniques. We provide strong theoretical guarantees; in particular, our analysis sheds new light on the memory-accuracy tradeoff in the near-neighbor search setting and the role of sparsity in compressed sensing, which could be of independent interest. We rigorously evaluate our framework, which we call RACE (Repeated ACE) data structures on a friend recommendation task on the Google plus graph with more than 100,000 high-dimensional vectors. RACE provides compression that is orders of magnitude better than the random projection based alternative, which is unsurprising given the theoretical advantage. We anticipate that RACE will enable both new theoretical perspectives on near-neighbor search and new methodologies for applications like high-speed data mining, internet-of-things (IoT), and beyond.

研究の動機と目的

• ストリーミングデータにおける近似近傍検索のO(N)メモリバッティングを克服すること。
• サブ線形メモリ成長を達成しながら、近傍検索の高精度を維持するスケッチフレームワークを設計すること。
• メモリ-精度トレードオフに関する理論的保証と、近傍検索における圧縮センシングにおけるスパarsityの役割を提供すること。
• IoTや高速データマイニングなどのメモリ制約環境における実用的導入を可能にすること。

提案手法

• RACEは、LSHベースの推定のためのACEアルゴリズムと圧縮センシングを組み合わせ、高次元ベクトルの効率的スケッチを可能にする。
• データストリームにおける最も顕著な成分を特定・追跡するためにヘビーヒッター技術を採用し、スケッチサイズを削減する。
• サイズがO(N^b log²N)（b < 1）に比例する小さなカウンタアレイを用いてスケッチを構築する。ここでbは検索の安定性に依存する。
• オンライン処理をサポートし、新しいベクトルが到着する度にスケッチを段階的に更新可能である。
• データのスパarsityと圧縮センシング再構成を活用することで、最小限のメモリで精度を維持する。
• 理論的分析により、トップ-v個の近傍の回復に関する高確率保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 近傍検索において、ベクトル数に対してサブ線形メモリ成長を達成できるか？
• RQ2 圧縮センシングにおけるスパarsityは、近傍検索におけるメモリ-精度トレードオフにどのように影響するか？
• RQ3 高確率での近傍検索のためのスケッチサイズの理論的限界は何か？
• RQ4 LSHベースの推定を、圧縮センシングとヘビーヒッターと効果的に組み合わせてストリーミングデータに適用できるか？

主な発見

• RACEは、b < 1のO(N^b log²N)のスケッチサイズを達成し、厳密にサブ線形メモリ成長を実現し、O(N)メモリの壁を破った。
• このフレームワークは、コンactなスケッチを用いてトップ-v個の近傍を特定するための高確率保証を提供する。
• 100,000個を超える高次元ベクトルを含むGoogle+グラフにおいて、RACEはランダムプロジェクションと比較して圧縮性能が桁違いに優れた。
• 理論的分析により、近傍検索における圧縮センシングのスパarsityとメモリ-精度トレードオフの役割に関する新たな知見が得られた。
• RACEは、IoTやリアルタイムデータマイニングなどのメモリ制約環境における実用的導入を可能にする。