[论文解读] New Loss Functions for Fast Maximum Inner Product Search

Ruiqi Guo, Quan Geng+4 more|arXiv (Cornell University)|Aug 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 22被引用 4

一句话总结

本文提出了一类新型量化损失函数，通过根据内积的大小对误差进行加权，直接最小化内积近似误差，从而更加重视高价值的内积对。该方法在多种量化技术（包括二值化和乘积量化）中均提升了搜索精度，并在标准基准测试中优于当前最先进方法。

ABSTRACT

Quantization based methods are popular for solving large scale maximum inner product search problems. However, in most traditional quantization works, the objective is to minimize the reconstruction error for datapoints to be searched. In this work, we focus directly on minimizing error in inner product approximation and derive a new class of quantization loss functions. One key aspect of the new loss functions is that we weight the error term based on the value of the inner product, giving more importance to pairs of queries and datapoints whose inner products are high. We provide theoretical grounding to the new quantization loss function, which is simple, intuitive and able to work with a variety of quantization techniques, including binary quantization and product quantization. We conduct experiments on standard benchmarking datasets to demonstrate that our method using the new objective outperforms other state-of-the-art methods.

研究动机与目标

• 解决传统量化方法最小化重建误差而非内积近似误差的局限性。
• 通过直接优化内积精度，提升最大内积搜索（MIPS）性能。
• 设计一种基于内积大小对误差进行加权的损失函数，突出高价值对的重要性。
• 开发一种简单、直观且可推广的损失函数，兼容多种量化技术。

提出的方法

• 所提出的损失函数根据查询向量与数据点之间内积的大小对重建误差进行加权。
• 重新定义优化目标，优先最小化高内积区域的误差，这些区域对MIPS最为关键。
• 该方法兼容多种量化方案，包括二值量化和乘积量化。
• 损失函数具有理论基础，确保优化过程的稳定性和收敛性。
• 该方法可无缝集成到现有量化流程中，无需修改网络架构。
• 训练目标为端到端可微，支持基于梯度的优化。

实验结果

研究问题

• RQ1 一种基于内积大小对误差进行加权的损失函数是否能提升最大内积搜索性能？
• RQ2 与基于标准重建的优化目标相比，所提出的损失函数在内积近似精度方面表现如何？
• RQ3 该新损失函数是否在二值化和乘积量化等不同量化技术中均具有泛化能力？
• RQ4 在训练过程中聚焦高内积对会对下游搜索精度产生何种影响？
• RQ5 所提出方法是否能在标准MIPS基准数据集上达到最先进性能？

主要发现

• 所提出的损失函数通过优先处理高价值对，显著提升了内积近似精度。
• 该方法在标准基准数据集上优于现有最先进的基于量化技术的MIPS方法。
• 在二值化和乘积量化技术中，性能提升均具有一致性。
• 损失函数的理论基础确保了优化过程的稳定与高效。
• 该方法仅对现有量化流程进行最小程度修改，即实现了更优的搜索性能。
• 结果表明，直接优化内积误差相比最小化重建误差，能带来更优的检索质量。