[论文解读] Directional Statistics-based Deep Metric Learning for Image Classification and Retrieval

Xuefei Zhe, Shifeng Chen+1 more|arXiv (Cornell University)|Feb 27, 2018

Face recognition and analysis参考文献 25被引用 6

一句话总结

该论文提出了一种基于方向统计的新型深度度量学习方法，通过von Mises-Fisher（vMF）损失函数在L2归一化嵌入空间中用余弦相似度替代欧几里得距离。该方法通过在超球面上建模类别分布，提升了图像分类与检索性能，在训练更简单且泛化能力更强的情况下实现了最先进（SOTA）的结果，尤其在浅层网络中表现突出。

ABSTRACT

Deep distance metric learning (DDML), which is proposed to learn image similarity metrics in an end-to-end manner based on the convolution neural network, has achieved encouraging results in many computer vision tasks.$L2$-normalization in the embedding space has been used to improve the performance of several DDML methods. However, the commonly used Euclidean distance is no longer an accurate metric for $L2$-normalized embedding space, i.e., a hyper-sphere. Another challenge of current DDML methods is that their loss functions are usually based on rigid data formats, such as the triplet tuple. Thus, an extra process is needed to prepare data in specific formats. In addition, their losses are obtained from a limited number of samples, which leads to a lack of the global view of the embedding space. In this paper, we replace the Euclidean distance with the cosine similarity to better utilize the $L2$-normalization, which is able to attenuate the curse of dimensionality. More specifically, a novel loss function based on the von Mises-Fisher distribution is proposed to learn a compact hyper-spherical embedding space. Moreover, a new efficient learning algorithm is developed to better capture the global structure of the embedding space. Experiments for both classification and retrieval tasks on several standard datasets show that our method achieves state-of-the-art performance with a simpler training procedure. Furthermore, we demonstrate that, even with a small number of convolutional layers, our model can still obtain significantly better classification performance than the widely used softmax loss.

研究动机与目标

• 解决深度度量学习中欧几里得距离与L2归一化嵌入空间之间的不匹配问题。
• 克服基于三元组的损失函数在数据格式复杂且缺乏全局结构感知方面的局限性。
• 通过利用方向统计，开发一种更高效且泛化能力更强的深度度量学习训练方法。
• 通过更简单、端到端可训练的框架，提升图像分类与检索任务的性能。

提出的方法

• 在L2归一化嵌入空间中用余弦相似度替代欧几里得距离，以更好地匹配超球面的几何特性。
• 提出一种基于von Mises-Fisher（vMF）分布的新损失函数，用于在超球面上建模特定类别的方向分布。
• 引入一种替代性学习算法，以高效优化vMF损失，实现稳定且有效的训练。
• 使用集中参数κ控制嵌入空间中类别分布围绕其均值方向的紧密程度。
• 采用类别均值方向之间的平均余弦相似度，分析类别间分离度与泛化能力。
• 在标准CNN架构中应用vMF损失，无需复杂的样本采样或预处理。

实验结果

研究问题

• RQ1 方向统计如何改善L2归一化嵌入空间中的深度度量学习？
• RQ2 基于vMF的损失函数是否能在图像分类与检索任务中超越传统的三元组损失与对比损失？
• RQ3 集中参数κ的选择如何影响模型的泛化能力与检索性能？
• RQ4 与使用标准Softmax损失的深层模型相比，采用vMF损失训练的浅层网络在性能上能达到何种程度的优越表现？
• RQ5 所提出的方法在零样本或少样本学习场景下是否具有良好的泛化能力？

主要发现

• vMF损失在多个标准数据集上的图像分类与检索任务中均实现了最先进（SOTA）性能。
• 在CUB-200-2011数据集上，使用movMF-hard聚类方法的vMF模型实现了58.89%的平均准确率和64.33%的Recall@1。
• 在Cars196和CUB-200-2011数据集上，vMF模型的检索性能分别较基线聚类方法[11]提升了3.39%和5.10%。
• 检索性能在κ ≈ 30–40时达到峰值，表明类别紧凑性与泛化能力之间存在最佳平衡。
• 即使在浅层卷积网络上，该模型也表现出卓越性能，展现出强大的归纳偏置与泛化能力。
• 平均集中参数ˆκ与检索性能呈负相关，表明更松散的类别分布有助于提升泛化能力。