[論文レビュー] Randomized partition trees for exact nearest neighbor search

Sanjoy Dasgupta, K. P. Sinha|arXiv (Cornell University)|Feb 8, 2013

Data Management and Algorithms被引用数 27

ひとこと要約

この論文は、ランダム化と重複セルを特徴とするk-dツリーの変種、すなわちランダム化パーティションツリーについて、正確な近似最近傍検索を分析している。失敗確率を制限するためのポテンシャル関数を導入し、データが低固有次元空間（例えばダブルィング測度やトピックモデル）に存在する場合、全探索に比べてクエリ時間の性能が $2^{-\Omega(\sqrt{L})}$ の要因で向上することを証明している。

ABSTRACT

The k-d tree was one of the first spatial data structures proposed for nearest neighbor search. Its efficacy is diminished in high-dimensional spaces, but several variants, with randomization and overlapping cells, have proved to be successful in practice. We analyze three such schemes. We show that the probability that they fail to find the nearest neighbor, for any data set and any query point, is directly related to a simple potential function that captures the difficulty of the point configuration. We then bound this potential function in two situations of interest: the first, when data come from a doubling measure, and the second, when the data are documents from a topic model.

研究の動機と目的

• 正確な最近傍検索におけるランダム化パーティションツリーの失敗確率の一般的特徴を提供すること。
• 特定のデータ族に依存しない、3つのランダム化ツリー構造（ランダムプロジェクションツリー、ランダム化k-dツリー、重複セルツリー）を分析すること。
• データ構成の難易度を反映するポテンシャル関数を用いて失敗確率を制限すること。
• ダブルィング測度やトピックモデルなどの低固有次元仮定下で、クエリ時間の向上を確立すること。

提案手法

• クエリポイントからの最近傍検索失敗確率に関連する、ポイント配置の難易度を定量化するポテンシャル関数を提案する。
• スプリットがランダム単位ベクトルと分位数に基づいて選ばれるランダムプロジェクションツリー（RPツリー）の構築法を用い、重複セルを可能にする。
• ハミング距離の成長率を分析するために、チェルノフ不等式と幾何級数の議論を適用する。
• クエリ周辺のデータポイントの分布を制御するため、連続するハミング距離の確率比の境界を導出する。
• ツリーに基づく検索の失敗確率を、クエリからの小さなハミング距離内にあるポイント数に関連付ける。
• クエリ時間が $n_o = n \cdot 2^{-O(\sqrt{L/v})}$ に支配されることを確立し、ここで $L$ は文書内の期待特徴数、$v$ は深さのしきい値である。

実験結果

リサーチクエスチョン

• RQ1 特定のデータ分布に依存しない、ランダム化パーティションツリーの一般の失敗確率は何か？
• RQ2 データの固有次元性は、ランダム化パーティションツリーの性能にどのように影響するか？
• RQ3 データ構成の難易度を捉える1つのポテンシャル関数を用いて失敗確率を制限できるか？
• RQ4 データが低固有次元空間に存在する場合、全探索に比べてクエリ時間の向上はどの程度か？
• RQ5 クエリポイントからのハミング距離の幾何的成長は、ツリーに基づく検索の成功にどのように影響するか？

主な発見

• ランダム化パーティションツリーの失敗確率は、クエリポイントからのハミング距離分布に関連するポテンシャル関数によって制限される。
• ダブルィング測度からのデータでは、失敗確率は固有次元 $d_o$ によって制御され、クエリ時間は $O(2^{O(d_o)} \log n)$ となる。
• トピックモデル（$t$ 個のトピック）では、失敗確率は $\sqrt{v/L}$ で制限され、ここで $L$ はトピック間の最小期待特徴数である。
• ツリーに基づく検索のクエリ時間は $O(n \cdot 2^{-\Omega(\sqrt{L})})$ であり、全探索の $O(n)$ に比べて $2^{-\Omega(\sqrt{L})}$ の要因で向上する。
• ハミング距離の幾何的成長により、大多数のポイントがクエリから $\Omega(L)$ の距離に存在することが保証され、効率的なプルーニングが可能になる。
• 分析により、低固有次元仮定下で、ランダム化パーティションツリーが部分線形クエリ時間で正確な最近傍検索を達成できることを示している。