[論文レビュー] Analysis of approximate nearest neighbor searching with clustered point sets

Songrit Maneewongvatana, David M. Mount|ArXiv.org|Jan 26, 1999

Data Management and Algorithms参考文献 24被引用数 58

ひとこと要約

本稿では、高次元でクラスタリングされたデータにおける近似最近傍探索のための2つの改良kdツリー分割手法—スライディングミッドポイント法とミニマムアンビギティ法—を提案し、実験的に評価している。スライディングミッドポイント法は、空のセルを避けるために非混雑領域で分割平面を動的に調整する。ミニマムアンビギティ法は、訓練データを用いて期待クエリ時間を最小化する。結果として、両手法ともクラスタリングされたデータにおいて標準kdツリーを著しく上回る性能を示し、スライディングミッドポイント法は構築が高速で、クエリ速度も競争力がある。

ABSTRACT

We present an empirical analysis of data structures for approximate nearest neighbor searching. We compare the well-known optimized kd-tree splitting method against two alternative splitting methods. The first, called the sliding-midpoint method, which attempts to balance the goals of producing subdivision cells of bounded aspect ratio, while not producing any empty cells. The second, called the minimum-ambiguity method is a query-based approach. In addition to the data points, it is also given a training set of query points for preprocessing. It employs a simple greedy algorithm to select the splitting plane that minimizes the average amount of ambiguity in the choice of the nearest neighbor for the training points. We provide an empirical analysis comparing these two methods against the optimized kd-tree construction for a number of synthetically generated data and query sets. We demonstrate that for clustered data and query sets, these algorithms can provide significant improvements over the standard kd-tree construction for approximate nearest neighbor searching.

研究の動機と目的

• 高次元でクラスタリングされたデータ分布において、標準kdツリーが著しく性能を発揮しない問題に対処すること。
• データ分布およびクエリ分布に特化したヒューリスティックな分割手法が、近似最近傍クエリの効率を向上させることを評価すること。
• スライディングミッドポイント法とミニマムアンビギティ法のクエリ時間と構築コストを、標準kdツリー分割法と比較すること。
• クエリに基づくツリー構築が、クラスタリングされた環境において、データに基づくヒューリスティックよりも優れたパフォーマンスをもたらすかどうかを調査すること。

提案手法

• スライディングミッドポイント法は、セルの最も長い軸に沿って中点分割を開始するが、一方の部分セルが空の場合、データ点に近づけるように平面をスライドさせることで、空でない部分セルを保証する。
• ミニマムアンビギティ法は、訓練クエリポイントの集合上で期待クエリ時間を最小化するグリーディーヒューリスティックを用いてツリーを構築する。
• 両手法とも、O(dn)の空間計算量を維持し、軸に沿った分割を用いて階層的な空間分解を実現するkdツリーに適用される。
• クエリ処理は、非候補点の除外としてモデル化され、近隣選択のあいまいさを最小化する分割意思決定に基づく。
• ミニマムアンビギティ法では、補助的なツリー構造を用いて、すべての訓練ポイントの近似最近傍を事前に計算する必要がある。
• 構築時間は、ε > 0 の場合、特にすべての訓練ポイントの近似最近傍を計算するコストにほぼ比例して増加すると推定される。

実験結果

リサーチクエスチョン

• RQ1 スライディングミッドポイント分割法は、標準kdツリーと比較して、クラスタリングされたデータにおいてクエリ時間を短縮するか？
• RQ2 データ点とクエリ点の両方がクラスタリングされている場合、ミニマムアンビギティ法のパフォーマンスはスライディングミッドポイント法および標準kdツリーと比較してどうなるか？
• RQ3 ミニマムアンビギティ法において、構築時間とクエリ効率のトレードオフはどのようなものか？
• RQ4 クエリに基づくツリー構築は、クラスタリングされた分布において、近似最近傍探索のパフォーマンスを著しく向上させることができるか？

主な発見

• データ点とクエリ点がクラスタリングされた分布から抽出された場合、スライディングミッドポイント法は標準kdツリーと比較してクエリ時間を2〜3倍短縮した。
• データ点とクエリ点の両方がクラスタリングされている状況では、ミニマムアンビギティ法が最も優れたクエリパフォーマンスを達成し、標準法およびスライディングミッドポイント法を上回った。
• 4,000点のデータセット（20次元）において、スライディングミッドポイント法の構築時間は10CPU秒未満であったが、ミニマムアンビギティ法は著しく長い構築時間を要した。
• ミニマムアンビギティ法の構築時間は、ε値が高くなるにつれて短縮された。これは、近似最近傍の計算コストが低下することで、ツリー構築コストが減少したためである。
• スライディングミッドポイント法は、さまざまな分布において標準法と同等またはそれ以上の性能を示した。これは、この手法が頑健で効率的な代替手法であることを示している。
• 設計上の目的とは異なり、ミニマムアンビギティ法は一様なクエリ分布においてスライディングミッドポイント法を上回らなかった。これは、クエリ分布の不一致に対して感受性が高いことを示している。