[论文解读] Mean Local Group Average Precision (mLGAP): A New Performance Metric for Hashing-based Retrieval

Pak Lun Kevin Ding, Yikang Li+1 more|arXiv (Cornell University)|Nov 24, 2018

Advanced Image and Video Retrieval Techniques参考文献 24被引用 4

一句话总结

本文提出了一种新的哈希检索评估指标——均局部组平均精度（mLGAP），该指标在检索准确率与哈希码利用率之间实现了平衡。与mAP不同，mAP会因代码碰撞而偏向高准确率，而mLGAP则对代码分散性差的情况施加惩罚，更真实地反映实际检索性能。在CIFAR-10和CIFAR-100上的实验表明，该方法提升了代码均匀性并保持了稳定的排序可靠性。

ABSTRACT

The research on hashing techniques for visual data is gaining increased attention in recent years due to the need for compact representations supporting efficient search/retrieval in large-scale databases such as online images. Among many possibilities, Mean Average Precision(mAP) has emerged as the dominant performance metric for hashing-based retrieval. One glaring shortcoming of mAP is its inability in balancing retrieval accuracy and utilization of hash codes: pushing a system to attain higher mAP will inevitably lead to poorer utilization of the hash codes. Poor utilization of the hash codes hinders good retrieval because of increased collision of samples in the hash space. This means that a model giving a higher mAP values does not necessarily do a better job in retrieval. In this paper, we introduce a new metric named Mean Local Group Average Precision (mLGAP) for better evaluation of the performance of hashing-based retrieval. The new metric provides a retrieval performance measure that also reconciles the utilization of hash codes, leading to a more practically meaningful performance metric than conventional ones like mAP. To this end, we start by mathematical analysis of the deficiencies of mAP for hashing-based retrieval. We then propose mLGAP and show why it is more appropriate for hashing-based retrieval. Experiments on image retrieval are used to demonstrate the effectiveness of the proposed metric.

研究动机与目标

• 为解决mAP存在的关键缺陷，即优先考虑检索准确率而忽视哈希码利用率，导致高碰撞率和码分散性差的问题。
• 开发一种性能指标，可同时评估检索准确率与二值空间中哈希码分布的均匀性。
• 证明高mAP值并不一定反映更好的检索性能，原因在于代码碰撞增加。
• 表明mLGAP通过对外部检索顺序变化具有鲁棒性且对码利用率敏感，从而提供更可靠和实用的评估。
• 验证改进的码均匀性能够保持哈希空间中语义与视觉相似性。

提出的方法

• 提出mLGAP作为mAP的衍生指标，通过引入局部组平均精度，以反映检索准确率与码分散性的双重特性。
• 从数学上分析mAP在惩罚代码碰撞方面的不足，并证明最大化mAP会导致哈希空间利用率低下。
• 在损失函数中引入缓冲区机制，允许同类样本具有一定的汉明距离范围，而非强制要求完全相同，从而降低碰撞风险。
• 设计一种改进的目标函数，采用L1范数表示汉明距离，并引入基于边距的约束（如r₁, r₂）以控制类内码的接近程度。
• 将新损失函数应用于深度神经网络（例如DSH），网络结构包含3个卷积层和2个全连接层，在CIFAR-10和CIFAR-100上使用12位码进行训练。
• 设定启发式边距值：CIFAR-100中r₁ = k/12, r₂ = k/6, r₃ = k/6, r₄ = k/3；CIFAR-10中r₁ = k/6, r₂ = k/3，且m = 2k，以确保最小分离距离。

实验结果

研究问题

• RQ1 mAP是否因忽略哈希码利用率和碰撞率，而无法真实反映检索性能？
• RQ2 能否设计一种新指标，在平衡检索准确率与码分散性的同时，更真实地反映实际检索性能？
• RQ3 当同一模型在不同码分布模式下评估时，所提出的mLGAP指标与mAP相比表现如何？
• RQ4 新损失函数在保持或提升检索准确率的同时，能在多大程度上改善码的均匀性？
• RQ5 mLGAP是否对外部检索顺序变化具有鲁棒性，而mAP则因对碰撞敏感而对顺序变化敏感？

主要发现

• 所提出的mLGAP指标能有效捕捉检索准确率与哈希码利用率，相比mAP提供了更平衡的评估。
• 使用新目标函数训练的模型在12位哈希码使用上表现出显著提升的均匀性，如图8所示，有效减少了码碰撞。
• 在CIFAR-10上，mLGAP值更高的模型实现了更好的码分散性，即使mAP并非最高，表明mLGAP具备识别更优系统的能力。
• 带有缓冲区的新损失函数减少了同类样本强制使用相同码的过拟合现象，从而在哈希空间中更好地保留了语义相似性。
• mLGAP对检索顺序变化具有鲁棒性，而mAP则因对碰撞敏感，在不同顺序下表现出显著波动。
• 在CIFAR-10和CIFAR-100上的实验表明，码均匀性的提升与哈希空间中视觉与语义相似性的更好保留密切相关。