[论文解读] A Theoretically Sound Upper Bound on the Triplet Loss for Improving the Efficiency of Deep Distance Metric Learning

Thanh-Toan Do, Toan Tran+4 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Image and Video Retrieval Techniques参考文献 48被引用 8

一句话总结

本文提出了一种理论基础扎实、时间复杂度为线性的三元组损失上界，用于深度度量学习，使训练时间复杂度从 O(N³) 降低至 O(N)。通过使用类别中心点紧密约束三元组损失，该方法在 CUB-200-2011 和 CAR196 数据集上实现了比当前最先进三元组方法快 10 倍的训练速度，同时保持了具有竞争力的检索准确率。

ABSTRACT

We propose a method that substantially improves the efficiency of deep distance metric learning based on the optimization of the triplet loss function. One epoch of such training process based on a naive optimization of the triplet loss function has a run-time complexity O(N^3), where N is the number of training samples. Such optimization scales poorly, and the most common approach proposed to address this high complexity issue is based on sub-sampling the set of triplets needed for the training process. Another approach explored in the field relies on an ad-hoc linearization (in terms of N) of the triplet loss that introduces class centroids, which must be optimized using the whole training set for each mini-batch - this means that a naive implementation of this approach has run-time complexity O(N^2). This complexity issue is usually mitigated with poor, but computationally cheap, approximate centroid optimization methods. In this paper, we first propose a solid theory on the linearization of the triplet loss with the use of class centroids, where the main conclusion is that our new linear loss represents a tight upper-bound to the triplet loss. Furthermore, based on the theory above, we propose a training algorithm that no longer requires the centroid optimization step, which means that our approach is the first in the field with a guaranteed linear run-time complexity. We show that the training of deep distance metric learning methods using the proposed upper-bound is substantially faster than triplet-based methods, while producing competitive retrieval accuracy results on benchmark datasets (CUB-200-2011 and CAR196).

研究动机与目标

• 解决深度度量学习中三元组损失训练的高计算复杂度问题，其复杂度随数据集规模呈 O(N³) 增长。
• 克服现有子采样和基于中心点方法的局限性，这些方法仍因中心点优化而产生 O(N²) 的复杂度。
• 基于类别中心点，提出一种理论合理且紧密的三元组损失上界，以实现线性时间训练。
• 消除训练过程中迭代更新中心点的需要，确保保证线性复杂度，同时不损失性能。
• 实现高效、可扩展的深度度量学习，适用于开放世界和终身学习等应用场景。

提出的方法

• 提出一种判别性损失函数，作为标准三元组损失的理论合理且紧密的上界，利用类别中心点实现。
• 证明当类别中心点分布良好且彼此间距离相近时，该上界与真实三元组损失之间的差异趋于零。
• 提出两种生成类别中心点的方法，以确保上界的紧密性：一种基于特征的经验均值，另一种通过固定迭代次数的优化方法。
• 设计一种训练算法，在整个训练过程中固定类别中心点，从而消除先前方法中所需的 O(N²) 中心点更新步骤。
• 将所提损失函数集成到深度神经网络中，仅需极少的架构修改，确保与各类主干网络（如 GoogleNet 和 VGG-16）的兼容性。
• 通过用线性扫描替代三元组计算的立方复杂度，实现每轮训练 O(N) 的时间复杂度。

实验结果

研究问题

• RQ1 能否推导出一个理论合理且保证最小化原始损失的三元组损失上界，同时实现线性时间训练？
• RQ2 类别中心点分布需满足何种条件，才能保证上界紧密，从而在度量学习中有效？
• RQ3 能否在不降低性能的前提下，消除基于中心点的度量学习中昂贵的中心点优化步骤？
• RQ4 与当前最先进基于三元组的方法相比，所提方法是否实现了显著更快的训练速度和具有竞争力的检索准确率？
• RQ5 在实际应用中，该方法在数据集规模和类别数量增加时，其扩展性如何？

主要发现

• 在 CUB-200-2011 和 CAR196 数据集上，所提判别性损失的训练时间分别比当前最先进三元组方法（采用智能挖掘）快约 13 至 17 倍。
• 实验结果表明，该方法在训练样本数和类别数上均呈现线性扩展，验证了理论上的 O(N) 复杂度声明。
• 在 CUB-200-2011 数据集上，使用 VGG-16 的模型实现了 57.74% 的 R@1 准确率，相比 GoogleNet 提升了 6.3%，且在相同损失函数下。
• 在 CAR196 数据集上，使用 VGG-16 的模型实现了 78.15% 的 R@1 准确率，相比 GoogleNet 提升了 9.8%。
• 当类别中心点分布良好且彼此间距离相近时，三元组损失的上界被证明是紧密的。
• 实验结果证实，最小化所提上界可获得具有竞争力的检索性能，验证了理论依据的合理性。