[论文解读] Hardness-Aware Deep Metric Learning

Wenzhao Zheng, Zhaodong Chen+2 more|arXiv (Cornell University)|Mar 13, 2019

Video Surveillance and Tracking Methods参考文献 46被引用 17

一句话总结

本文提出了一种硬度自适应深度度量学习（HDML）框架，通过嵌入的线性插值生成自适应、标签保持的合成负样本，从而全面利用所有训练数据，提升深度度量学习性能。HDML在CUB-200-2011、Cars196和Stanford Online Products数据集上均实现性能提升，通过根据模型训练进度动态调整合成样本的难度，达到当前最优结果。

ABSTRACT

This paper presents a hardness-aware deep metric learning (HDML) framework. Most previous deep metric learning methods employ the hard negative mining strategy to alleviate the lack of informative samples for training. However, this mining strategy only utilizes a subset of training data, which may not be enough to characterize the global geometry of the embedding space comprehensively. To address this problem, we perform linear interpolation on embeddings to adaptively manipulate their hard levels and generate corresponding label-preserving synthetics for recycled training, so that information buried in all samples can be fully exploited and the metric is always challenged with proper difficulty. Our method achieves very competitive performance on the widely used CUB-200-2011, Cars196, and Stanford Online Products datasets.

研究动机与目标

• 为解决难负样本挖掘的局限性，即大多数训练样本未被充分利用，并存在过度拟合于频繁采样的难样本的风险。
• 通过生成保留类别标签且可控制难度的合成负样本来充分利用所有训练样本的信息。
• 通过在训练过程中复用合成生成的、硬度自适应的样本，提升度量学习性能。
• 确保随着训练的推进，模型始终面临逐步变难的负样本，从而维持有效的监督。

提出的方法

• 该方法对嵌入进行线性插值，以生成具有可控难度级别的合成负样本。
• 通过一个独立的生成器网络将插值后的嵌入映射回特征空间，同时保留原始类别标签和插值后的难度水平。
• 根据模型当前的训练状态自适应调整难度，确保模型始终面临适当难度的负样本。
• 将生成的合成样本作为补充训练数据，与原始样本一并参与损失计算。
• 该框架兼容多种度量学习损失函数，包括三元组损失和N-pair损失。
• 生成器与度量网络联合训练，以确保合成数据与真实数据在特征空间中的一致性。

实验结果

研究问题

• RQ1 当充分利用所有训练样本而非依赖选择性难负样本挖掘时，合成数据生成是否能提升深度度量学习？
• RQ2 如何生成既保留类别身份又具备可控难度的合成负样本？
• RQ3 对合成样本的难度进行自适应调整，是否相比固定或随机采样的负样本能带来更好的泛化能力和性能？
• RQ4 该方法在小样本数据集上能多大程度上提升性能，尤其是在数据效率至关重要的场景中？
• RQ5 该框架是否能无需架构修改，有效集成到多种标准度量学习损失函数中？

主要发现

• 在CUB-200-2011数据集上，HDML在N-pair损失下将R@1提升6.0%，R@100提升4.2%，达到当前最优性能。
• 在Cars196数据集上，HDML结合N-pair损失达到95.5%的R@8，优于先前SOTA方法DAML（N-pair）的2.0个百分点。
• 在Stanford Online Products数据集上，HDML结合N-pair损失达到92.4%的R@100，较DAML（N-pair）提升0.3%，表明在更大数据集上也保持了稳定增益。
• 消融实验证实，合成数据生成与自适应难度控制两个组件对性能提升均至关重要。
• 定性t-SNE可视化显示，即使在类间差异细微且类内变化较大的情况下，HDML仍能有效聚类相似的鸟类物种。
• 性能提升在小样本数据集（CUB-200-2011和Cars196）上最为显著，表明该方法在数据稀缺场景下尤为有效。