[论文解读] Deep Metric Learning with Hierarchical Triplet Loss

Weifeng Ge, Weilin Huang+2 more|arXiv (Cornell University)|Oct 16, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用 5

一句话总结

本文提出层级三元损失（HTL），一种新型深度度量学习方法，通过构建动态的、基于类别的层次树来引导自动选择困难且具有信息量的三元组。通过基于层次结构计算上下文感知的、动态更新的边界值，HTL提升了特征的判别能力，实现了更快的收敛速度，并在图像检索与人脸识别基准测试中达到最先进性能，相比标准三元损失提升1%–18%。

ABSTRACT

We present a novel hierarchical triplet loss (HTL) capable of automatically collecting informative training samples (triplets) via a defined hierarchical tree that encodes global context information. This allows us to cope with the main limitation of random sampling in training a conventional triplet loss, which is a central issue for deep metric learning. Our main contributions are two-fold. (i) we construct a hierarchical class-level tree where neighboring classes are merged recursively. The hierarchical structure naturally captures the intrinsic data distribution over the whole database. (ii) we formulate the problem of triplet collection by introducing a new violate margin, which is computed dynamically based on the designed hierarchical tree. This allows it to automatically select meaningful hard samples with the guide of global context. It encourages the model to learn more discriminative features from visual similar classes, leading to faster convergence and better performance. Our method is evaluated on the tasks of image retrieval and face recognition, where it outperforms the standard triplet loss substantially by 1%-18%. It achieves new state-of-the-art performance on a number of benchmarks, with much fewer learning iterations.

研究动机与目标

• 解决三元损失训练中随机采样带来的关键局限，即产生冗余且无信息量的三元组，导致收敛缓慢。
• 通过在三元组采样中引入全局类别级上下文，克服小批量训练中的局部优化问题。
• 通过聚焦于视觉相似但语义不同的类别，提升特征的可判别性。
• 开发一种可扩展且可集成的方法，无需架构重构即可增强标准三元损失及其他度量学习框架。
• 在标准基准上实现最先进性能，且训练迭代次数显著减少。

提出的方法

• 通过基于特征相似性的递归合并相邻类别，构建类别级别的层次树，形成编码数据内在分布的全局结构。
• 定义一种基于层次树计算的动态违反边界值（αz），在训练过程中自适应更新，以识别最具信息量的困难三元组。
• 提出锚点邻域采样方法，其中每个锚点与来自不同但视觉相似类别的正样本配对，促进对细微差别的学习。
• 将层次结构整合到损失函数中，使三元组的选择基于其在层次结构中的位置，确保具备全局上下文感知能力。
• 利用层次树指导困难负样本的选择，优先选择在特征空间中接近但属于不同类别的样本。
• 通过将采样机制与损失函数解耦，实现与现有度量学习框架（包括三元损失、对比损失和HDC）的即插即用式集成。

实验结果

研究问题

• RQ1 我们如何在深度度量学习中超越随机或静态困难负样本采样，进一步提升训练三元组的质量？
• RQ2 层次树结构能否有效编码全局类别级上下文，以指导选择具有信息量且难以区分的三元组？
• RQ3 基于层次结构动态更新的违反边界值是否能带来更快的收敛速度和更好的泛化能力？
• RQ4 所提出方法在训练过程中在多大程度上减少了对冗余或无信息三元组的依赖？
• RQ5 层级三元损失能否与HDC或对比损失等其他度量学习框架有效结合，进一步提升性能？

主要发现

• HTL在图像检索与人脸识别基准测试中相比标准三元损失性能提升1%–18%，并在多个数据集上达到最先进结果。
• 在In-Shop Clothes Retrieval数据集上，采用锚点邻域采样的HTL达到80.9% R@1，相比基线随机采样（62.3% R@1）提升17.6%。
• HTL在Caltech-UCSD Birds 200数据集上仅需1,000次迭代即可收敛，而HDC需60,000次迭代，收敛速度提升60倍。
• 消融实验证实，锚点邻域采样结合动态边界值至关重要：使用扁平树（深度=1）将R@1从75.3%提升至78.9%，而深度=16时达到最佳的80.9% R@1。
• 与HDC集成后，所提方法（HDC+）在In-Shop Clothes数据集上R@1绝对提升7.3%，表明其具有广泛的兼容性与有效性。
• 模型在避免局部最优方面优于标准三元损失，表现为性能曲线稳定，损失饱和后无基线模型常见的波动现象。