[论文解读] Fast k-Nearest Neighbour Search via Dynamic Continuous Indexing

Ke Li, Jitendra Malik|arXiv (Cornell University)|Dec 1, 2015

Advanced Image and Video Retrieval Techniques参考文献 25被引用 5

一句话总结

本文提出动态连续索引（DCI），一种新颖的k近邻搜索方法，通过使用随机的一维投影来创建连续且数据自适应的索引，避免了空间划分。与传统方法不同，DCI在固有维度和数据集规模上实现了次线性时间复杂度，支持动态更新，并且在近似质量与空间效率方面优于LSH，所需候选点数量减少61.3%–78.7%，内存使用量不足LSH的1/20。

ABSTRACT

Existing methods for retrieving k-nearest neighbours suffer from the curse of dimensionality. We argue this is caused in part by inherent deficiencies of space partitioning, which is the underlying strategy used by most existing methods. We devise a new strategy that avoids partitioning the vector space and present a novel randomized algorithm that runs in time linear in dimensionality of the space and sub-linear in the intrinsic dimensionality and the size of the dataset and takes space constant in dimensionality of the space and linear in the size of the dataset. The proposed algorithm allows fine-grained control over accuracy and speed on a per-query basis, automatically adapts to variations in data density, supports dynamic updates to the dataset and is easy-to-implement. We show appealing theoretical properties and demonstrate empirically that the proposed algorithm outperforms locality-sensitivity hashing (LSH) in terms of approximation quality, speed and space efficiency.

研究动机与目标

• 解决k近邻搜索中的维度灾难问题，该问题困扰着k-d树和LSH等现有空间划分方法。
• 克服空间划分的局限性，如高维情况下的指数级复杂度以及对数据密度变化的处理能力差。
• 开发一种无需依赖固定分区或复杂数据结构的方法，实现在不牺牲效率的前提下实现快速、动态且自适应的k-NN检索。
• 在固有维度和数据集规模上实现次线性时间复杂度，同时在环境维度上保持恒定的空间复杂度。

提出的方法

• 利用随机的一维投影构建连续索引，基于邻近性诱导数据点的排序。
• 在查询时通过多轮迭代（L）和多个随机投影（m）动态细化搜索空间。
• 应用一种随机化算法，基于投影中的邻近性逐轮剪枝候选点，避免显式的空间划分。
• 通过调整迭代次数在查询时控制近似质量，实现查询级别的速度与精度权衡。
• 通过增量维护连续索引支持动态更新，无需重新计算全部索引。
• 利用投影空间中相近的点在向量空间中也较可能相近的特性，结合随机投影理论的统计保证。

实验结果

研究问题

• RQ1 是否可以不依赖空间划分，在高维空间中实现高效的k-NN搜索？
• RQ2 能否设计一种方法，自适应地应对局部数据密度变化，而无需依赖数据相关的预处理？
• RQ3 是否可能在保持环境维度线性时间复杂度的同时，实现优于LSH的近似质量与空间效率？
• RQ4 是否可以在不重新索引的情况下，高效支持k-NN索引方案中的数据集动态更新？
• RQ5 是否可以实现查询级别的精度与速度控制，而无需预先定义近似级别？

主要发现

• 所提出的DCI方法在CIFAR-100和MNIST数据集上，于所有测试的近似级别下，近似质量均优于LSH。
• 在MNIST数据集上，DCI实现相同近似比所需候选点数量比LSH减少61.3%至78.7%，展现出更高的效率。
• DCI所用内存不足LSH的1/20，显著提升了空间效率。
• 该方法在环境维度上实现线性时间复杂度，在固有维度和数据集规模上实现次线性时间复杂度，具备良好的可扩展性。
• DCI支持动态更新，并能实时适应数据密度变化，而LSH对哈希函数选择和数据分布敏感。
• 实验结果表明，即使在MNIST等高密度挑战性数据集上，DCI仍能保持优异性能，而LSH性能显著下降。