[论文解读] Learning Space Partitions for Nearest Neighbor Search

Yihe Dong, Piotr Indyk+2 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Image and Video Retrieval Techniques参考文献 46被引用 27

一句话总结

该论文提出神经局部敏感哈希（Neural LSH），一种新颖的框架，用于在 $ℝ^d$ 中学习空间划分，通过将 $k$-NN 图的平衡图划分与监督分类相结合，提升最近邻搜索（NNS）性能。该方法在标准基准测试中优于基于量化、基于树和经典 LSH 的方法，在更少候选点的情况下实现了更高的准确率。

ABSTRACT

Space partitions of $\mathbb{R}^d$ underlie a vast and important class of fast nearest neighbor search (NNS) algorithms. Inspired by recent theoretical work on NNS for general metric spaces [Andoni, Naor, Nikolov, Razenshteyn, Waingarten STOC 2018, FOCS 2018], we develop a new framework for building space partitions reducing the problem to balanced graph partitioning followed by supervised classification. We instantiate this general approach with the KaHIP graph partitioner [Sanders, Schulz SEA 2013] and neural networks, respectively, to obtain a new partitioning procedure called Neural Locality-Sensitive Hashing (Neural LSH). On several standard benchmarks for NNS, our experiments show that the partitions obtained by Neural LSH consistently outperform partitions found by quantization-based and tree-based methods as well as classic, data-oblivious LSH.

研究动机与目标

• 为解决尽管在基于草图的方法中已取得成功，但在最近邻搜索（NNS）中尚未充分利用现代监督机器学习进行空间划分的问题。
• 设计一种框架，通过学习数据感知的划分，优化关键 NNS 指标——候选集大小、召回率和计算效率。
• 克服 $k$-均值和随机投影等数据无关或无监督划分方法在 NNS 索引中的局限性。
• 探究监督分类是否能有效将组合图划分扩展至完整的环境空间 $ℝ^d$。
• 证明基于学习的空间划分可在准确率和效率上超越传统索引方法。

提出的方法

• 构建数据集的 $k$-最近邻（k-NN）图 $G$，其中每个点与它的 $k$ 个最近邻相连。
• 使用 KaHIP 对 $G$ 应用平衡图划分，将 $G$ 划分为 $m$ 个大小相近的部分，同时最小化跨部分的边数。
• 在数据点上训练监督分类器（例如逻辑回归或神经网络），以划分标签作为目标，将划分扩展至整个 $ℝ^d$。
• 使用所得分类器将任意查询点分配至一个桶，并检索该桶（以及邻近桶）中的所有数据点作为候选。
• 通过软标签（温度缩放）优化分类器，以提升泛化能力和鲁棒性。
• 该框架具有通用性，可与各种划分器和分类器结合使用，并在标准 NNS 基准上进行了实证评估。

实验结果

研究问题

• RQ1 与传统无监督或数据无关的方法相比，监督机器学习技术是否能改善最近邻搜索中的空间划分？
• RQ2 对 $k$-NN 图进行划分并通过分类扩展，是否能带来优于现有索引方法的 NNS 性能？
• RQ3 在 $k$-NN 图中 $k$ 的选择如何影响最终划分的质量和搜索准确率？
• RQ4 在分类器训练期间使用软标签是否能提升划分方案的泛化能力和鲁棒性？
• RQ5 该框架能否扩展至非欧几里得空间，或与集成方法结合以进一步提升性能？

主要发现

• 在 GloVe 和 SIFT 数据集上，Neural LSH 在 $k$-NN 准确率和候选集大小方面均持续优于 $k$-均值聚类和 PCA 树。
• 在 SIFT 数据集上，Neural LSH 的平均候选点数量与 $k$-均值相当，但 95 百分位数性能显著更优。
• 在 GloVe 数据集上，即使仅使用 $10$-NN 图，Neural LSH 使用 $k=50$ 的表现也优于 $k$-均值使用 $k=50$ 的情况，表明对 $k$ 选择具有鲁棒性。
• 设置软标签温度 $S=15$ 的结果显著优于 $S=1$，且在 $S=15$ 之后收益递减。
• Neural LSH 显著优于随机投影树，后者本质上是随机的，需通过集成才能提升准确率。
• 该框架泛化能力良好：划分的平均 $k$-NN 准确率与 $k$-NN 边跨分区分裂的比例直接相关，验证了理论基础。