[论文解读] In Defense of the Triplet Loss for Visual Recognition.

Ahmed Taha, Yi-Ting Chen+2 more|arXiv (Cornell University)|Jan 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 4

一句话总结

本文主张将三元组损失作为视觉识别中一种强大的正则化方法，将其与ResNet、DenseNet等标准分类网络结合，仅需极少的超参数调优。通过联合使用三元组损失与分类损失，该方法在细粒度和类别不平衡的数据集上显著提升准确率——在视频数据集上准确率提升超过7%，同时在不增加计算成本的前提下，实现了分类与嵌入任务的高效推理。

ABSTRACT

We employ triplet loss as a space embedding regularizer to boost classification performance. Standard architectures, like ResNet and DesneNet, are extended to support both losses with minimal hyper-parameter tuning. This promotes generality while fine-tuning pretrained networks. Triplet loss is a powerful surrogate for recently proposed embedding regularizers. Yet, it is avoided for large batch-size requirement and high computational cost. Through our experiments, we re-assess these assumptions. During inference, our network supports both classification and embedding tasks without any computational overhead. Quantitative evaluation highlights how our approach compares favorably to the existing state of the art on multiple fine-grained recognition datasets. Further evaluation on an imbalanced video dataset achieves significant improvement (>7%). Beyond boosting efficiency, triplet loss brings retrieval and interpretability to classification models.

研究动机与目标

• 重新评估三元组损失在深度学习中的实用性，尽管其计算成本较高且需要较大的批量大小。
• 将三元组损失作为正则化器集成到标准分类网络（如ResNet、DenseNet）中，同时不损害训练效率。
• 在推理阶段实现分类与嵌入任务的联合推理，且不增加额外计算开销。
• 证明三元组损失可提升细粒度和类别不平衡识别数据集上的性能。
• 通过学习到的嵌入提升模型的可解释性与检索能力。

提出的方法

• 将标准分类网络（ResNet、DenseNet）扩展为同时优化三元组损失与交叉熵损失。
• 将三元组损失用作正则化器，以改善特征空间的几何结构，促进类内紧凑性和类间可分性。
• 采用极少的超参数调优，保持在不同架构和数据集上的通用性。
• 使用同一网络同时支持分类与嵌入推理，消除计算开销。
• 利用嵌入空间进行检索与可解释性分析，同时保持分类准确率。
• 在训练过程中采用标准的三元组挖掘策略，以采样困难负样本，提升特征的判别能力。

实验结果

研究问题

• RQ1 三元组损失是否可在大规模视觉识别任务中有效使用，且仅需极少的超参数调优？
• RQ2 将三元组损失与分类损失结合，是否能提升在细粒度和类别不平衡数据集上的性能？
• RQ3 同一网络是否可实现无额外推理成本的分类与嵌入联合推理？
• RQ4 三元组损失是否能提升模型的可解释性与检索性能？
• RQ5 三元组损失的计算成本是否在真实应用场景中由性能增益所合理化？

主要发现

• 所提出的方法在细粒度识别数据集上实现了显著的性能提升，优于现有最先进方法。
• 在类别不平衡的视频数据集上，模型相比基线方法准确率提升超过7%。
• 通过联合训练三元组损失与分类损失，实现了两类任务的高效推理，且无额外计算开销。
• 三元组损失提升了特征空间质量，改善了分类模型的检索能力与可解释性。
• 该方法在不同架构（包括ResNet与DenseNet）上具有良好的泛化能力，仅需极少的超参数调整。
• 本研究挑战了三元组损失因成本过高而难以实用化的普遍认知，证明其在真实应用中的可行性。