[论文解读] Hard-Aware Deeply Cascaded Embedding

Yuhui Yuan, Kuiyuan Yang+1 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Image and Video Retrieval Techniques参考文献 44被引用 10

一句话总结

该论文提出了一种新型框架——硬样本感知深度级联嵌入（HDC），通过级联多个复杂度逐步增加的深度度量学习模型，根据样本的难易程度自适应地挖掘难样本。通过按顺序训练模型，并仅对每个模型判定为难样本的样本进行反向传播，HDC 提升了泛化能力，在五个基准测试中均取得了最先进性能，包括在 CARS196 上达到 83.8% 的 Recall@1，以及在 Stanford Online Products 上通过多裁剪测试达到 70.1% 的 Recall@1。

ABSTRACT

Riding on the waves of deep neural networks, deep metric learning has also achieved promising results in various tasks using triplet network or Siamese network. Though the basic goal of making images from the same category closer than the ones from different categories is intuitive, it is hard to directly optimize due to the quadratic or cubic sample size. To solve the problem, hard example mining which only focuses on a subset of samples that are considered hard is widely used. However, hard is defined relative to a model, where complex models treat most samples as easy ones and vice versa for simple models, and both are not good for training. Samples are also with different hard levels, it is hard to define a model with the just right complexity and choose hard examples adequately. This motivates us to ensemble a set of models with different complexities in cascaded manner and mine hard examples adaptively, a sample is judged by a series of models with increasing complexities and only updates models that consider the sample as a hard case. We evaluate our method on CARS196, CUB-200-2011, Stanford Online Products, VehicleID and DeepFashion datasets. Our method outperforms state-of-the-art methods by a large margin.

研究动机与目标

• 为解决因模型依赖的难样本级别而导致的过拟合与欠拟合问题。
• 开发一种根据样本难度动态分配合适模型复杂度的方法。
• 通过级联模型实现多级难样本挖掘，提升深度度量学习的泛化能力。
• 在多样化的基准测试中实现最先进性能，且仅需极少的超参数调优。

提出的方法

• HDC 级联多个深度度量模型，其深度逐层递增，从浅层网络开始。
• 每个样本按顺序通过级联结构；当首个模型将其分类为简单样本时，训练即停止。
• 仅当模型判定样本为难样本时，才对该样本进行反向传播更新，确保学习过程高效且精准。
• 框架在各模型间共享浅层特征，以减少计算冗余。
• 每个模型内部使用对比损失、三元组损失或其他度量学习损失，且训练仅聚焦于该模型层级下的难样本。
• 该方法支持灵活配置，可包含 K 个级联模型，并可与多种损失函数结合使用。

实验结果

研究问题

• RQ1 通过级联复杂度递增的模型，能否根据样本难度自适应地提升难样本挖掘效果？
• RQ2 基于模型的难样本级别定义是否会导致次优训练？多级挖掘能否缓解此问题？
• RQ3 级联架构能否在多样化数据集上实现优于单模型难样本挖掘的泛化性能？
• RQ4 在不同设置下（如使用或不使用边界框、多裁剪测试等），该方法与最先进方法相比表现如何？

主要发现

• 在 CARS196 上，HDC 达到 83.8% 的 Recall@1，相比之前最先进方法绝对提升 26.4%。
• 在 CUB-200-2011 上，HDC 相比先前最先进方法将 Recall@1 提升了 2.4%，展现出在细粒度识别任务中的强劲性能。
• 在 Stanford Online Products 上，通过多裁剪测试，HDC 达到 70.1% 的 Recall@1，相比之前最先进方法绝对提升 4%。
• 在 CARS196 上，即使在不使用边界框的测试条件下，HDC 的性能仍优于使用边界框的方法，表明其对背景杂波具有强鲁棒性。
• 在 VehicleID 上，HDC 在大规模子集上达到 65.5% 的 MAP，显著优于先前方法（如 Mixed Diff + CCL 的 57.5% MAP）。
• 该方法在多样化数据集（如 DeepFashion 和 Stanford Online Products）上泛化能力出色，且在不同评估协议下均保持一致的最先进性能。