[论文解读] A fast nearest neighbor search algorithm based on vector quantization

Sylvain Corlay|arXiv (Cornell University)|May 25, 2011

Data Management and Algorithms参考文献 14被引用 3

一句话总结

本文提出了一种基于向量量化递归划分数据聚类的新型快速最近邻搜索算法，构建出一种‘量化树’，利用沃罗诺伊图和德拉伦戴三角剖分。该方法引入了‘好友沃罗诺伊单元’技术，以最小化不必要的节点探索，显著提升了高维空间（d > 5）下的性能表现，在大规模数据集上，1000万次查询的耗时最高仅为52秒（d=8）。

ABSTRACT

In this article, we propose a new fast nearest neighbor search algorithm, based on vector quantization. Like many other branch and bound search algorithms [1,10], a preprocessing recursively partitions the data set into disjointed subsets until the number of points in each part is small enough. In doing so, a search-tree data structure is built. This preliminary recursive data-set partition is based on the vector quantization of the empirical distribution of the initial data-set. Unlike previously cited methods, this kind of partitions does not a priori allow to eliminate several brother nodes in the search tree with a single test. To overcome this difficulty, we propose an algorithm to reduce the number of tested brother nodes to a minimal list that we call "friend Voronoi cells". The complete description of the method requires a deeper insight into the properties of Delaunay triangulations and Voronoi diagrams

研究动机与目标

• 通过利用数据几何结构的向量量化方法，解决最近邻搜索中的维度灾难问题。
• 通过减少冗余的节点探索，克服基于树的搜索算法在高维空间中的低效性。
• 开发一种预处理方法，通过几何数据结构优化加速最近邻查询。
• 提出一种新颖的‘好友沃罗诺伊单元’算法，以最小化搜索过程中需探索的候选节点数量。
• 在真实与合成数据集上评估量化树在有无好友节点优化情况下的性能表现。

提出的方法

• 该算法基于经验分布，利用向量量化递归划分数据，形成分层树状结构。
• 从量化聚类的质心点构建沃罗诺伊图，以定义最近邻分配的单元边界。
• 该方法利用德拉伦戴三角剖分识别站点之间的几何关系，并计算可能包含最近邻的‘好友沃罗诺伊单元’。
• 引入一种‘好友节点’算法，通过外接球与可见性检测，仅识别最相关的候选节点，从而减少必须探索的兄弟节点数量。
• 预处理阶段包括德拉伦戴三角剖分与伪插入操作，用于计算可见性与邻近关系，以实现高效的查询路由。
• 该算法使用C++实现，结合了针对沃罗诺伊与德拉伦戴结构的优化计算几何例程。

实验结果

研究问题

• RQ1 与传统基于树的方法相比，基于向量量化的递归划分是否能提升最近邻搜索效率？
• RQ2 如何在不牺牲正确性的前提下，最小化搜索树中被探索的兄弟节点数量？
• RQ3 ‘好友沃罗诺伊单元’技术对高维空间中查询时间的影响如何？
• RQ4 量化树在何种维度范围内优于Kd-tree与主轴树？
• RQ5 计算好友单元结构的预处理成本如何随维度与数据集规模增长？

主要发现

• 在d=8时，量化树在5000个点的高斯数据集上完成1000万次查询耗时52.31秒，优于主轴树（82.30秒）与Kd-tree（118.93秒）。
• 在d=8的均匀分布数据中，量化树耗时32.62秒，主轴树为47.53秒，Kd-tree为55.71秒。
• 在d > 5的维度中，量化树表现出更优性能，显著降低了相对于基线方法的查询时间。
• 在维度高于7时，好友节点算法未带来竞争优势，原因在于预处理成本上升及好友单元列表变长。
• 在低维空间（d=2,3）中，量化树性能与主轴树及Kd-tree相当，d=4时有适度提升。
• 在高维空间中，计算德拉伦戴三角剖分与好友单元的预处理成本变得不可接受，限制了好友节点优化在d > 7后的使用。