[论文解读] Robust and Decomposable Average Precision for Image Retrieval

Elias Ramzi, Nicolas Thome+3 more|arXiv (Cornell University)|Oct 1, 2021

Image Retrieval and Classification Techniques参考文献 48被引用 8

一句话总结

本文提出 ROADMAP，一种用于图像检索中端到端深度神经网络训练的新型可微分且可分解的平均精度（AP）损失。它引入了一种平滑的、上界逼近的排序近似，确保反向传播的鲁棒性，并设计了一种校准损失以缩小小批量与全数据集 AP 之间的可分解性差距，从而在三个基准数据集上实现最先进性能，且无内存或计算开销。

ABSTRACT

In image retrieval, standard evaluation metrics rely on score ranking, e.g. average precision (AP). In this paper, we introduce a method for robust and decomposable average precision (ROADMAP) addressing two major challenges for end-to-end training of deep neural networks with AP: non-differentiability and non-decomposability. Firstly, we propose a new differentiable approximation of the rank function, which provides an upper bound of the AP loss and ensures robust training. Secondly, we design a simple yet effective loss function to reduce the decomposability gap between the AP in the whole training set and its averaged batch approximation, for which we provide theoretical guarantees. Extensive experiments conducted on three image retrieval datasets show that ROADMAP outperforms several recent AP approximation methods and highlight the importance of our two contributions. Finally, using ROADMAP for training deep models yields very good performances, outperforming state-of-the-art results on the three datasets.

研究动机与目标

• 解决图像检索中端到端深度学习里平均精度（AP）的不可微分性和不可分解性问题。
• 设计一种代理损失，其上界为真实 AP 损失，确保训练过程中梯度流的稳定性。
• 通过一种新颖的校准目标，缩小小批量平均 AP 与全数据集 AP 之间的可分解性差距。
• 在无需存储所有训练得分或采用复杂采样策略的前提下，实现有效的 AP 优化。
• 在标准图像检索基准上，使用标准训练设置实现最先进性能。

提出的方法

• 提出一种新的平滑、可微分的排序近似方法，通过不对称处理正样本与负样本，确保代理损失上界为真实 AP 损失。
• 设计一种校准损失 $\mathcal{L}_{\text{calibr.}}$，通过控制跨批次正负样本得分的绝对尺度，减小可分解性差距。
• 将上界代理损失 $\mathcal{L}_{\text{SupAP}}$ 与校准损失整合为统一的训练目标 $\mathcal{L}_{\text{ROADMAP}}$。
• 提供理论依据，证明 $\mathcal{L}_{\text{calibr.}}$ 能够减小小批量与全数据集 AP 之间的可分解性差距。
• 采用混合训练目标，结合 $\mathcal{L}_{\text{SupAP}}$ 与 $\mathcal{L}_{\text{calibr.}}$，并通过超参数 $\tau$ 和 $\rho$ 进行调优。
• 使用标准深度学习框架（PyTorch、Faiss、timm）与混合精度训练，确保效率与可复现性。

实验结果

研究问题

• RQ1 能否设计一种可微分、上界逼近的 AP 代理损失，以确保反向传播过程中的稳定梯度更新？
• RQ2 通过一种简单的校准机制，小批量平均 AP 与全数据集 AP 之间的可分解性差距能在多大程度上被缩小？
• RQ3 与现有 AP 近似方法相比，所提出的 ROADMAP 损失在标准基准上的最终检索性能是否更优？
• RQ4 与需要存储完整表示或采用复杂采样策略的方法相比，ROADMAP 是否能在不增加内存或计算成本的前提下实现最先进结果？
• RQ5 ROADMAP 的性能对超参数 $\tau$ 和 $\rho$ 的敏感程度如何？哪些最优取值能获得最佳结果？

主要发现

• ROADMAP 在三个标准图像检索数据集（CUB、SOP 和 iNaturalist）上优于多种近期 AP 近似方法。
• 在 CUB 数据集上，ROADMAP 在批量大小为 128 的条件下实现了 mAP@R 55.8% 的性能，表明其在标准训练条件下的强大表现。
• 校准损失 $\mathcal{L}_{\text{calibr.}}$ 在 SOP 数据集上将可分解性差距降低了 5.4%，在 CUB 数据集上降低了 3.7%，证实其在提升小批量 AP 近似质量方面的有效性。
• 消融实验表明，上界代理损失与校准损失均对性能提升有显著贡献，其中后者在可分解性方面尤为关键。
• 即使在小批量尺寸下，ROADMAP 也能实现最先进性能，且无需存储所有训练嵌入或使用复杂采样启发式策略。
• 该方法计算高效，可在 16GB GPU 上使用混合精度训练完成，并通过公开发布的代码实现可复现性。