[论文解读] It Takes Two to Tango: Mixup for Deep Metric Learning

Shashanka Venkataramanan, Bill Psomas+4 more|arXiv (Cornell University)|Jun 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 78被引用 9

一句话总结

本文提出 Metrix，一种用于深度度量学习的新型基于 mixup 的数据增强方法，通过插值输入样本及其对应的正样本/负样本标签，以提升表征学习效果。通过将度量学习视为示例对的二分类任务，Metrix 实现了有效的标签插值，从而在四个基准数据集上实现了最先进性能，提升了嵌入空间的覆盖范围，并增强了对未见类别的泛化能力。

ABSTRACT

Metric learning involves learning a discriminative representation such that embeddings of similar classes are encouraged to be close, while embeddings of dissimilar classes are pushed far apart. State-of-the-art methods focus mostly on sophisticated loss functions or mining strategies. On the one hand, metric learning losses consider two or more examples at a time. On the other hand, modern data augmentation methods for classification consider two or more examples at a time. The combination of the two ideas is under-studied. In this work, we aim to bridge this gap and improve representations using mixup, which is a powerful data augmentation approach interpolating two or more examples and corresponding target labels at a time. This task is challenging because unlike classification, the loss functions used in metric learning are not additive over examples, so the idea of interpolating target labels is not straightforward. To the best of our knowledge, we are the first to investigate mixing both examples and target labels for deep metric learning. We develop a generalized formulation that encompasses existing metric learning loss functions and modify it to accommodate for mixup, introducing Metric Mix, or Metrix. We also introduce a new metric - utilization, to demonstrate that by mixing examples during training, we are exploring areas of the embedding space beyond the training classes, thereby improving representations. To validate the effect of improved representations, we show that mixing inputs, intermediate representations or embeddings along with target labels significantly outperforms state-of-the-art metric learning methods on four benchmark deep metric learning datasets.

研究动机与目标

• 通过将 mixup 扩展以处理度量学习中的输入和标签插值，弥合分类任务与度量学习之间在数据增强方面的差距。
• 解决度量学习中非可加性损失函数带来的挑战，这些挑战使得标准标签插值变得复杂。
• 通过在训练过程中探索训练类别之外的嵌入空间区域，提升对未见类别的泛化能力。
• 引入一种新的评估指标——利用率（utilization），用于量化测试样本与训练样本（包括混合样本）的对齐程度。
• 通过统一且通用的框架，在多个深度度量学习基准上实现最先进性能。

提出的方法

• 将度量学习建模为示例对的二分类任务，其中每对样本相对于一个锚点被标记为“正样本”（同类别）或“负样本”（不同类别）。
• 提出一种广义框架，通过插值输入特征和示例对的二元正/负标签，将 mixup 扩展至度量学习。
• 将混合示例的“正性”定义为插值因子 α 的函数，确保插值后的标签能反映正样本对与负样本对的相对贡献。
• 引入一种新指标——利用率（utilization），用于衡量测试嵌入与任意训练嵌入（原始或混合）之间的平均最小距离，数值越低表示嵌入空间覆盖度越高。
• 在多个层级应用 Metrix：输入层级（原始图像）、中间层级（特征图）和嵌入层级（最终表征），均取得一致的性能提升。
• 在 Metrix 框架中使用标准度量学习损失函数（如对比损失、三元组损失、多相似性损失），证明其在多种损失类型下的兼容性与有效性。

实验结果

研究问题

• RQ1 mixup 能否被有效扩展至深度度量学习，其中损失函数并非对单个样本可加？
• RQ2 当任务是区分正样本对与负样本对而非单类别标签时，应如何在度量学习中进行标签插值？
• RQ3 在训练过程中混合示例和标签是否能带来更好的未见类别泛化能力？
• RQ4 通过利用率指标衡量，mixup 探索在多大程度上提升了嵌入空间的覆盖范围？
• RQ5 Metrix 是否能在多个基准数据集和损失函数上持续超越最先进方法？

主要发现

• Metrix 在四个深度度量学习基准数据集（CUB200、Cars196、SOP 和 In-Shop）上实现了最先进性能，优于先前方法（包括 Proxy Anchor 和 Proxy Synthesis）。
• 在 CUB200 数据集上使用对比损失时，利用率从 0.41 降至 0.32，表明测试样本在嵌入空间中更接近混合训练样本。
• 使用 Metrix 配合多相似性损失（Wang et al., 2019）在所有四个基准上均取得新的最先进结果，即使该损失函数在无 mixup 时并非最先进。
• 嵌入层级的 mixup（Metrix/embed）带来最大性能增益，在 In-Shop 数据集上 R@1 提升至 80.6%，在 100-shot 回忆率上达到 91.6%，超越此前最先进方法。
• 利用率指标证实，mixup 使嵌入空间得到更全面的探索，测试查询样本比与原始训练样本更接近混合训练样本。
• 所提出的正性函数随插值因子 α 单调递增，验证了 Metrix 框架中标签插值的理论一致性。