[论文解读] A Simple and Effective Framework for Pairwise Deep Metric Learning

Qi Qi, Yan Yan+2 more|arXiv (Cornell University)|Dec 24, 2019

Face and Expression Recognition参考文献 27被引用 4

一句话总结

本文提出了一种用于成对深度度量学习的分布鲁棒优化（DRO）框架，将度量学习建模为成对样本上的二分类问题，并通过自适应采样解决数据不平衡问题。该方法通过DRO优化采样概率，在基准数据集上实现了最先进性能，提供了理论依据，并具备统一或改进现有损失函数的灵活性。

ABSTRACT

Deep metric learning (DML) has received much attention in deep learning due to its wide applications in computer vision. Previous studies have focused on designing complicated losses and hard example mining methods, which are mostly heuristic and lack of theoretical understanding. In this paper, we cast DML as a simple pairwise binary classification problem that classifies a pair of examples as similar or dissimilar. It identifies the most critical issue in this problem--imbalanced data pairs. To tackle this issue, we propose a simple and effective framework to sample pairs in a batch of data for updating the model. The key to this framework is to define a robust loss for all pairs over a mini-batch of data, which is formulated by distributionally robust optimization. The flexibility in constructing the uncertainty decision set of the dual variable allows us to recover state-of-the-art complicated losses and also to induce novel variants. Empirical studies on several benchmark data sets demonstrate that our simple and effective method outperforms the state-of-the-art results. Codes are available at: https://github.com/qiqi-helloworld/A-Simple-and-Effective-Framework-for-Pairewise-Distance-Metric-Learning

研究动机与目标

• 解决成对深度度量学习中正样本对与负样本对之间严重类别不平衡的根本挑战。
• 提供一个理论上有依据的框架，统一并改进现有的启发式损失函数与成对挖掘策略。
• 开发一种灵活、通用的DML方法，结合鲁棒损失形式化与自适应采样，以实现更好的模型收敛性与性能。
• 证明当与基于分布鲁棒优化的合理采样相结合时，简单的成对损失也能实现最先进结果。

提出的方法

• 将深度度量学习建模为成对二分类问题，其中每对样本被标记为相似（正例）或不相似（负例）。
• 通过使用分布鲁棒优化（DRO）建模成对样本的采样分布来解决数据不平衡问题，DRO在对偶变量的不确定性集上进行优化。
• 通过在分布不确定性下最大化加权损失，定义小批量成对样本上的鲁棒损失函数，从而实现对有信息量成对样本的自适应采样。
• 使用随机梯度下降，基于根据优化采样分布采样的成对样本计算梯度，提升训练稳定性和性能。
• 为DRO中的对偶变量构建不确定性集，以恢复现有损失（如边界损失、MS损失）并推导新型变体。
• 实现三种变体：DRO-TopK M（Top-K采样）、DRO-TopK-PN M（按正负对分别进行Top-K采样）和DRO-KL M（基于KL散度的不确定性），每种具有不同的采样策略。

实验结果

研究问题

• RQ1 为何DML中复杂的损失函数与启发式成对挖掘方法往往难以泛化或缺乏理论依据？
• RQ2 基于分布鲁棒优化的统一框架能否在成对深度度量学习中同时提升性能与可解释性？
• RQ3 通过DRO实现的自适应采样与现有成对挖掘方法（如DWS、SH、MS）相比，在准确率与效率方面表现如何？
• RQ4 所提出的框架在多大程度上能泛化以恢复或改进最先进损失函数（如MS损失或LS损失）？

主要发现

• 所提出的DRO-TopK-PN M变体在In-Shop数据集上，于所有正负对比例下均实现了最高的Recall@1，优于DWS、SH及其他基线方法。
• 当批量大小B=640时，DRO-TopK M在K=1280时达到最优性能，且在广泛K值范围内表现稳定，表明对超参数选择不敏感。
• DRO框架的运行速度优于基于锚点的挖掘方法（如SH和DWS），且比LS损失更高效，因其直接选择成对样本，无需每锚点计算。
• DRO方法在正负对比例增加时仍能保持或提升Recall@1，而DWS在低比例下性能急剧下降，表明对不平衡具有更强鲁棒性。
• 该框架通过将现有损失（如MS损失和LS损失）嵌入DRO不确定性集，成功恢复或改进了最先进损失，提供了理论基础。
• 实验结果表明，DRO框架在多个基准数据集上泛化良好，仅需极少的网络架构或损失复杂度即可实现SOTA性能。