[論文レビュー] A fast nearest neighbor search algorithm based on vector quantization

Sylvain Corlay|arXiv (Cornell University)|May 25, 2011

Data Management and Algorithms参考文献 14被引用数 3

ひとこと要約

本稿では、ベクトル量子化を用いてデータを再帰的にクラスタに分割し、'量子化木'と呼ばれる構造を構築する、高速な最近傍探索アルゴリズムを提案する。この木構造はボロノイ図とデローニ三角形分割を活用する。また、不要なノード探索を最小限に抑えるために'フレンド・ボロノイ領域'という技術を導入し、次元数d > 5の高次元空間において、大規模データセット上でのKdツリーおよび主軸ツリーを凌駕する性能を発揮する。1000万件のクエリにおいて、d=8の環境で最大52秒の処理時間を記録した。

ABSTRACT

In this article, we propose a new fast nearest neighbor search algorithm, based on vector quantization. Like many other branch and bound search algorithms [1,10], a preprocessing recursively partitions the data set into disjointed subsets until the number of points in each part is small enough. In doing so, a search-tree data structure is built. This preliminary recursive data-set partition is based on the vector quantization of the empirical distribution of the initial data-set. Unlike previously cited methods, this kind of partitions does not a priori allow to eliminate several brother nodes in the search tree with a single test. To overcome this difficulty, we propose an algorithm to reduce the number of tested brother nodes to a minimal list that we call "friend Voronoi cells". The complete description of the method requires a deeper insight into the properties of Delaunay triangulations and Voronoi diagrams

研究の動機と目的

• ベクトル量子化を活用してデータの幾何構造を捉えることで、次元の呪いに起因する最近傍探索の課題を解決すること。
• 高次元空間におけるツリー基盤探索アルゴリズムの非効率性を是正し、冗長なノード探索を削減すること。
• 幾何的データ構造最適化を活用して、最近傍クエリの高速化を実現する前処理手法の開発。
• 探索中に検討すべき候補ノード数を最小限に抑える、新規の'フレンド・ボロノイ領域'アルゴリズムの導入。
• 実データおよび合成データセットを用いた、量子化木のフレンドノード最適化有無における性能評価。

提案手法

• アルゴリズムは、経験的分布に基づくベクトル量子化を用いてデータを再帰的に分割し、階層的ツリー構造を形成する。
• 量子化されたクラスタの重心からボロノイ図を構築し、最近傍割り当てのためのセル境界を定義する。
• サイト間の幾何的関係を特定し、最近傍を含む可能性がある'フレンド・ボロノイ領域'を計算するためにデローニ三角形分割を用いる。
• 外接球および視認性のチェックを用いて、探索対象となる兄弟ノードのうち最も関連性の高いもののみを特定することで、'フレンド・ノード'アルゴリズムを導入し、探索ノード数を削減する。
• 前処理フェーズでは、デローニ三角形分割と疑似挿入を実行し、視認性および隣接関係を計算することで、効率的なクエリルーティングを実現する。
• アルゴリズムはC++で実装されており、ボロノイおよびデローニ構造の最適化された計算幾何学ルーチンが使用されている。

実験結果

リサーチクエスチョン

• RQ1 従来のツリー基盤手法と比較して、ベクトル量子化に基づく再帰的分割は、最近傍探索の効率を向上させるか？
• RQ2 正しさを損なわずに、探索ツリーにおける兄弟ノードの探索数を最小限に抑える方法は何か？
• RQ3 'フレンド・ボロノイ領域'技術が高次元空間におけるクエリ時間に与える影響は何か？
• RQ4 量子化木がKdツリーおよび主軸ツリーを凌駆する次元範囲は何か？
• RQ5 フレンド領域構造の前処理コストは、次元数およびデータセットサイズの増加に伴いどのようにスケーリングされるか？

主な発見

• d=8の環境で、5000点のガウス分布データセットに対して1000万件のクエリを実行した結果、量子化木は52.31秒のクエリ時間を記録し、主軸ツリー（82.30秒）およびKdツリー（118.93秒）を上回った。
• d=8の均一分布データに対しては、量子化木は32.62秒を要したが、主軸ツリーは47.53秒、Kdツリーは55.71秒を要した。
• d > 5の次元数において、量子化木はベースライン手法と比較して顕著にクエリ時間を短縮し、優れた性能を示した。
• d > 7の次元数では、フレンド・ノードアルゴリズムが競争上の利点を示さなかった。これは、前処理コストの増加およびフレンド領域リストの拡大に起因する。
• d=2,3の低次元では、量子化木は主軸ツリーおよびKdツリーと同等の性能を示し、d=4では中程度の向上が得られた。
• デローニ三角形分割およびフレンド領域の前処理コストは、高次元において著しく増大し、d=7を超えるとフレンド・ノード最適化の利用が制限されるようになった。