[論文レビュー] Local Density Estimation in High Dimensions

Xian Wu, Moses Charikar+1 more|arXiv (Cornell University)|Sep 20, 2018

Advanced Graph Neural Networks参考文献 14被引用数 6

ひとこと要約

本稿では、高次元ベクトル空間における指定された角距離内の点の数を、効率的かつ正確に推定するための、局所性に敏感なハッシュ（LSH）に基づく2つの推定器、LSH Count および Multi-Probe Count を提案する。複数のバケットからのサンプリングと重要度重み付けを活用することで、GLOVE などの単語埋め込みデータセットにおいて、従来手法に比べて顕著に精度が向上し、サンプルの複雑さが低減される。

ABSTRACT

An important question that arises in the study of high dimensional vector representations learned from data is: given a set $\mathcal{D}$ of vectors and a query $q$, estimate the number of points within a specified distance threshold of $q$. We develop two estimators, LSH Count and Multi-Probe Count that use locality sensitive hashing to preprocess the data to accurately and efficiently estimate the answers to such questions via importance sampling. A key innovation is the ability to maintain a small number of hash tables via preprocessing data structures and algorithms that sample from multiple buckets in each hash table. We give bounds on the space requirements and sample complexity of our schemes, and demonstrate their effectiveness in experiments on a standard word embedding dataset.

研究の動機と目的

• クエリ点の周囲の与えられた角距離内に存在する高次元ベクトルの数を、効率的に推定する課題に対処すること。
• 従来の手法が次元の呪いに苦しむ高次元空間における密度推定のための、実用的かつ理論的根拠を持つ手法を開発すること。
• 1つのテーブルあたり1つのバケットに依存する既存の LSH ベース推定器に比べ、ストレージおよびサンプルの複雑さを低減すること。
• 単語埋め込み、レコメンデーションシステム、外れ値検出などの応用分野における近傍カウントの精度を向上させること。
• 空間的およびサンプルの複雑さに明示的な境界を保証しつつ、実世界のデータセットにおいて実用的な効率性を維持すること。

提案手法

• LSH Count 推定器は、複数のハッシュテーブルと、各テーブルから複数のバケットにわたるサンプリングを用い、クエリ点の目的の角半径内にある点の数を推定する。
• サンプルの、目的の距離内にある確率に基づいて重要度重み付けが施され、推定の分散が低減される。
• Multi-Probe Count 推定器は、この手法を拡張し、目的の距離における衝突確率がより高いバケットを優先してプローブする戦略を採用することで、さらに効率性が向上する。
• 両手法とも、角距離（例：コサイン類似度のためのランダムプロジェクションを用いた）を想定した局所性に敏感なハッシュ関数を用いる。
• 理論的分析により、空間要件とサンプルの複雑さの境界が得られ、次元に依存しないパフォーマンス保証が得られる。
• 複数のバケットごとのサンプリングと重要度サンプリングの組み合わせにより、リソース制約下での推定誤差を最小限に抑える分散低減技術が統合されている。

実験結果

リサーチクエスチョン

• RQ1 1つのテーブルあたり1つのバケットに依存する既存の LSH ベース推定器に比べ、低ストレージおよび低サンプル複雑さで、高次元密度推定において高い精度を達成できる推定器を設計できるか？
• RQ2 ハッシュテーブルごとに複数のバケットからサンプリングすることは、近傍カウントの分散と精度にどのように影響するか？
• RQ3 一様なバケットからのサンプリングに比べ、重要度重み付けが推定精度をどの程度向上させるか？
• RQ4 LSH Count および Multi-Probe Count は、マルチプローブや [SS17] の推定器に比べ、精度および効率性の点でどのように差をつけるか？
• RQ5 クエリに特化した近傍サイズの影響は、特にスパースな近傍と密度の高い近傍において、推定器のパフォーマンスにどの程度及ぼされるか？

主な発見

• GLOVE 埋め込みにおいて、クエリ点の60度以内の単語数を推定する際、実用的なリソース制約下で、LSH Count は競合手法に比べて複数桁の高い精度を達成する。
• Multi-Probe Count は、重要度重み付けを用いることで、標準的なマルチプローブを上回り、『ケーキ』や『本』のように近傍が広い密度の高いクエリにおいて顕著な向上を示す。
• 『ベニス』（12個の近傍）のような非常にスパースなクエリでは、10個のテーブルまで Multi-Probe Count がマルチプローブを上回るが、それ以上では性能向上の余地が小さくなる。
• 『本』のようなクエリでは、適切なハミング閾値（例：2ビット）が選択された場合、LSH Count が Multi-Probe Count よりも優れた性能を示す。これは、パrameterチューニングに敏感であることを示唆している。
• 複数バケットサンプリングと重要度重み付けの組み合わせにより、顕著な分散低減が達成され、より少ないサンプル数で正確な推定が可能になる。
• 実験結果から、両推定器は、さまざまなクエリ密度において強固なパフォーマンスを維持しており、高確率バケット内の興味の薄い要素による汚染に対しても耐性があることが示された。