[论文解读] Embedding Expansion: Augmentation in Embedding Space for Deep Metric Learning

Byungsoo Ko, Geonmo Gu|arXiv (Cornell University)|Mar 5, 2020

Face recognition and analysis参考文献 11被引用 7

一句话总结

本文提出嵌入扩展（Embedding Expansion, EE），一种在嵌入空间中进行的简单而有效的数据增强技术，用于深度度量学习。通过在同类别样本对之间进行线性插值生成合成点，并执行困难负样本挖掘，EE 在不增加额外网络的情况下提升了性能，在图像检索和聚类基准上实现了最先进结果，且计算成本极低。

ABSTRACT

Learning the distance metric between pairs of samples has been studied for image retrieval and clustering. With the remarkable success of pair-based metric learning losses, recent works have proposed the use of generated synthetic points on metric learning losses for augmentation and generalization. However, these methods require additional generative networks along with the main network, which can lead to a larger model size, slower training speed, and harder optimization. Meanwhile, post-processing techniques, such as query expansion and database augmentation, have proposed the combination of feature points to obtain additional semantic information. In this paper, inspired by query expansion and database augmentation, we propose an augmentation method in an embedding space for pair-based metric learning losses, called embedding expansion. The proposed method generates synthetic points containing augmented information by a combination of feature points and performs hard negative pair mining to learn with the most informative feature representations. Because of its simplicity and flexibility, it can be used for existing metric learning losses without affecting model size, training speed, or optimization difficulty. Finally, the combination of embedding expansion and representative metric learning losses outperforms the state-of-the-art losses and previous sample generation methods in both image retrieval and clustering tasks. The implementation is publicly available.

研究动机与目标

• 为解决现有深度度量学习数据增强方法依赖额外生成网络所带来的模型尺寸增大与训练复杂度提升的问题。
• 通过仅使用线性插值在嵌入空间中生成信息量丰富的合成样本，提升度量学习的泛化能力与性能。
• 在不引入额外模型容量或优化难度的前提下，实现有效的困难负样本挖掘。
• 提供一种即插即用的增强方法，兼容现有的基于对的度量学习损失函数。
• 在不改变网络结构的前提下，实现在图像检索与聚类任务上的最先进性能。

提出的方法

• 该方法通过在同类别样本对之间进行线性插值生成合成嵌入点，将线段等分为 n+1 份，生成 n 个合成点。
• 在所有原始点与合成点的组合中进行困难负样本对挖掘，以选择最具有挑战性的负样本对用于训练。
• 该方法完全在嵌入空间中运行，避免了对独立生成网络或复杂操作的需求。
• 该方法可兼容任意基于对的度量学习损失函数，如三元组损失、N-pair 损失、提升结构损失和 MS 损失。
• 其计算效率高，开销可忽略不计，因为合成点的生成仅依赖于简单的线性代数运算。
• 最终模型使用与基础模型相同的网络架构和训练流程，仅损失计算部分被修改以包含合成点。

实验结果

研究问题

• RQ1 在嵌入空间中通过线性插值实现空间内数据增强，是否能在不增加模型参数的情况下提升度量学习性能？
• RQ2 从同类别样本对中生成合成点，并在其中挖掘困难负样本，是否能比标准训练带来更好的泛化性能？
• RQ3 与依赖 GAN 或自编码器的现有样本生成技术相比，该方法在性能与效率方面表现如何？
• RQ4 该方法是否可普遍应用于多种基于对的度量学习损失函数，并持续带来性能提升？
• RQ5 性能提升是否随合成点数量增加而增强？计算成本是否可控？

主要发现

• 嵌入扩展在所有评估的度量学习损失函数上均显著提升性能，其中最佳组合（EE + MS 损失）在 Stanford Online Products 数据集上达到 63.3% 的 NMI 和 46.1% 的 Recall@1。
• 在 CARS196 数据集上，EE + MS 损失相比基线三元组损失实现了 Recall@1 提升 12.1% 和 NMI 提升 7.4%。
• 该方法在所有基准测试中均优于先前的样本生成方法（如 DAML 和 HDML），包括大规模数据集（如 SOP），即使这些方法使用了额外的生成网络。
• 生成合成点的计算开销可忽略不计，如表 1 所示，每批次生成 n=32 个合成点仅增加 0.0023ms 时间。
• 该方法在多个数据集（CUB200-2011、CARS196、SOP）和任务（检索与聚类）中均表现出一致的性能提升，展现出广泛的适用性。
• 在类别数量众多的大规模数据集中，性能提升最为显著，表明 EE 能够有效利用高可变性设置下合成点中的语义信息。