[論文レビュー] Comparison Based Nearest Neighbor Search

Siavash Haghiri, Debarghya Ghoshdastidar+1 more|arXiv (Cornell University)|Apr 5, 2017

Data Management and Algorithms参考文献 29被引用数 10

ひとこと要約

本稿では、三重比較（例：'d(x,y) ≤ d(x,z)か？'）のみを用いて、ランダムなピボットを用いて再帰的にデータポイントをバランスの取れた部分集合に分割する、比較ベースの最近傍探索アルゴリズム「比較木（comparison tree）」を提案する。強い拡張条件のもとで、木は高確率で対数的高さに達し、O(n log n)の比較で効率的な探索が可能となり、真の最近傍を返す失敗確率も抑えられる。

ABSTRACT

We consider machine learning in a comparison-based setting where we are given a set of points in a metric space, but we have no access to the actual distances between the points. Instead, we can only ask an oracle whether the distance between two points $i$ and $j$ is smaller than the distance between the points $i$ and $k$. We are concerned with data structures and algorithms to find nearest neighbors based on such comparisons. We focus on a simple yet effective algorithm that recursively splits the space by first selecting two random pivot points and then assigning all other points to the closer of the two (comparison tree). We prove that if the metric space satisfies certain expansion conditions, then with high probability the height of the comparison tree is logarithmic in the number of points, leading to efficient search performance. We also provide an upper bound for the failure probability to return the true nearest neighbor. Experiments show that the comparison tree is competitive with algorithms that have access to the actual distance values, and needs less triplet comparisons than other competitors.

研究の動機と目的

• 直接的な距離情報が得られない状況で、三重比較のみを用いて効率的なデータ構造を構築すること。
• 一般の距離空間における強拡張条件のもとで、比較木の理論的性能を分析すること。
• 比較ベースのユークリッド法や他の比較ベース手法と比較して、比較木の実験的効率を評価すること。
• 実際の応用において、クエリの正確性と三重比較の回数とのトレードオフを定量化すること。

提案手法

• 比較木は、2つのランダムなピボットポイントを選んで選択し、各ポイントを三重比較により近いピボットに割り当てる再帰的分割処理を用いる。
• 木の構築は、部分集合のサイズが事前に定義された閾値未満に達するまで再帰的に分割を繰り返す。
• 理論的分析では、距離空間内の球が体積的に急速に増加する「強い拡張条件」を仮定し、木の深さを制限する。
• アルゴリズムの最近傍探索は、各ノードでクエリポイントとピボットポイントを比較しながら木をたどる。
• 理論的仮定の妥当性を検証するため、実データセットから経験的拡張率を推定する。
• 実験では、複数のデータセットに対して比較木をKD-Tree、RP-Tree、PA-Tree、RCTと比較し、クエリ誤差と三重比較の使用回数を測定する。

実験結果

リサーチクエスチョン

• RQ1 距離空間にどのような条件が満たされると、比較木は高確率で対数的深さに達するか？
• RQ2 比較木の構築およびクエリに要する三重比較の回数は、既存の手法と比べてどの程度か？
• RQ3 直接的な距離情報が得られない状況でも、比較木は競争力のある最近傍精度を達成できるか？
• RQ4 実データセットにおける経験的拡張率は、分析で用いられた理論的仮定とどの程度一致するか？
• RQ5 最近傍探索の失敗確率は、データセットのサイズや拡張パラメータに応じてどのように変化するか？

主な発見

• 強い拡張条件のもとで、比較木は高確率で対数的高さに達し、効率的な探索性能が保証される。
• 比較木の構築にはO(n log n)回の三重比較が必要であり、比較ベースの手法としてはほぼ最適に近い。
• 真の最近傍を返す失敗確率は有界であり、拡張定数が大きくなるほど減少する。
• 経験的に、比較木はKD-Tree や RP-Tree といったユークリッドベースの手法と同等の性能を示し、比較のみを用いているにもかかわらず優れた性能を発揮する。
• 最近年の比較ベース手法であるRCTと比較すると、構築段階で比較木は三重比較の回数を桁違いに減らしつつ、同程度のクエリ精度を維持している。
• 経験的拡張率の推定結果から、MNIST や Gisette を除く大多数の実データセットが、妥当な定数のもとで必要な拡張条件を満たしていることが示された。