[论文解读] Smart Mining for Deep Metric Learning

Ben Harwood, Vijay Kumar B G+3 more|arXiv (Cornell University)|Apr 5, 2017

Face recognition and analysis参考文献 22被引用 43

一句话总结

本文提出了一种用于深度度量学习的智能挖掘方法，通过高效、低成本的采样策略结合三元组损失与全局损失，选择困难的正样本和负样本，从而加速训练收敛。该方法引入自适应控制器，自动调节挖掘超参数，在 CUB-200-2011 和 Cars196 数据集上实现了最先进性能，且训练速度更快、精度更高。

ABSTRACT

To solve deep metric learning problems and producing feature embeddings, current methodologies will commonly use a triplet model to minimise the relative distance between samples from the same class and maximise the relative distance between samples from different classes. Though successful, the training convergence of this triplet model can be compromised by the fact that the vast majority of the training samples will produce gradients with magnitudes that are close to zero. This issue has motivated the development of methods that explore the global structure of the embedding and other methods that explore hard negative/positive mining. The effectiveness of such mining methods is often associated with intractable computational requirements. In this paper, we propose a novel deep metric learning method that combines the triplet model and the global structure of the embedding space. We rely on a smart mining procedure that produces effective training samples for a low computational cost. In addition, we propose an adaptive controller that automatically adjusts the smart mining hyper-parameters and speeds up the convergence of the training process. We show empirically that our proposed method allows for fast and more accurate training of triplet ConvNets than other competing mining methods. Additionally, we show that our method achieves new state-of-the-art embedding results for CUB-200-2011 and Cars196 datasets.

研究动机与目标

• 为解决基于三元组的深度度量学习因大部分梯度接近零而导致收敛缓慢的问题。
• 克服大规模数据集中困难负样本/正样本挖掘带来的高计算成本。
• 通过结合三元组损失和全局损失函数，提升训练效率和嵌入质量。
• 设计一种智能采样策略，高效识别有效困难样本，避免随机欠采样。
• 设计一种自适应控制器，自主调节挖掘超参数，以加速收敛。

提出的方法

• 该方法将三元组损失与全局结构损失相结合，以促进类间分离和类内紧凑性。
• 采用 FANNG（快速近似最近邻）算法，高效搜索整个训练集以寻找困难正样本和负样本。
• 智能挖掘策略为每个锚点样本选择最近的正样本，以及距离锚点比正样本更远的最近负样本，确保样本对具有挑战性但可学习。
• 自适应控制器监控训练性能，并动态调整挖掘超参数以优化学习速度。
• 该方法通过直接搜索完整数据集避免随机欠采样，减少对重要性采样启发式方法的依赖。
• 模型通过端到端反向传播联合优化三元组损失和全局损失，实现鲁棒的特征嵌入。

实验结果

研究问题

• RQ1 能否通过高效搜索完整训练集的智能挖掘方法，替代基于三元组度量学习中的随机重要性采样？
• RQ2 结合三元组损失与全局损失是否能提升嵌入质量与收敛速度？
• RQ3 能否通过自动调节挖掘超参数的自适应控制器，在无需人工调参的情况下加速训练？
• RQ4 在基准数据集上，该方法在聚类与召回性能方面与最先进方法相比如何？
• RQ5 智能挖掘对训练过程中使用的困难样本的质量与多样性有何影响？

主要发现

• 所提方法（Triplet + FANNG + Global + Adaptive）在 CUB-200-2011 数据集上取得新的最先进结果，Recall@1 达到 83.31%。
• 在 Cars196 数据集上，该方法实现 Recall@1 为 90.19%，超越所有先前方法，包括 Semi-hard 和 N-pairs。
• 自适应控制器显著加速训练收敛，在保持或提升性能的同时减少训练时间。
• 结合 FANNG 的智能挖掘显著优于半困难挖掘，证明了系统性困难样本选择的有效性。
• 全局损失与三元组损失的结合提升了聚类性能，Cars196 上的 NMI 从 58.20 提升至 59.50。
• 可视化结果表明，所挖掘的三元组相比随机三元组包含更多具有挑战性但可学习的正负样本。