[论文解读] Learning Intra-Batch Connections for Deep Metric Learning

Jenny Seidenschwarz, Ismail Elezi+1 more|arXiv (Cornell University)|Feb 15, 2021

Face recognition and analysis参考文献 78被引用 13

一句话总结

本文提出了一种可学习的消息传递网络（MPN），通过注意力增强的消息传递机制，利用小批量内的所有内部关系来优化深度度量学习嵌入。通过实现具有全局结构感知能力的端到端训练，该方法在 CUB-200-2011、Cars196、Stanford Online Products 和 In-Shop Clothes 基准上实现了最先进性能，且推理无额外开销，同时支持通过推理时的 MPN 推理实现性能进一步提升。

ABSTRACT

The goal of metric learning is to learn a function that maps samples to a lower-dimensional space where similar samples lie closer than dissimilar ones. Particularly, deep metric learning utilizes neural networks to learn such a mapping. Most approaches rely on losses that only take the relations between pairs or triplets of samples into account, which either belong to the same class or two different classes. However, these methods do not explore the embedding space in its entirety. To this end, we propose an approach based on message passing networks that takes all the relations in a mini-batch into account. We refine embedding vectors by exchanging messages among all samples in a given batch allowing the training process to be aware of its overall structure. Since not all samples are equally important to predict a decision boundary, we use an attention mechanism during message passing to allow samples to weigh the importance of each neighbor accordingly. We achieve state-of-the-art results on clustering and image retrieval on the CUB-200-2011, Cars196, Stanford Online Products, and In-Shop Clothes datasets. To facilitate further research, we make available the code and the models at https://github.com/dvl-tum/intra_batch_connections.

研究动机与目标

• 解决现有深度度量学习方法仅依赖成对或三元组损失的局限性，这些方法忽略了嵌入空间的全局结构。
• 开发一个完全可学习的模块，利用小批量内所有样本间的关系来优化嵌入表示。
• 通过可学习注意力机制的消息传递建模全局数据集结构，从而提升聚类与图像检索性能。
• 通过在多种超参数设置下验证性能，并避免使用测试集反馈，确保方法的鲁棒性与泛化能力。

提出的方法

• 该方法使用 CNN 主干网络为小批量中的所有样本生成初始特征嵌入。
• 构建一个全连接图，其中每个节点代表一个样本的嵌入，从而实现样本间的通信。
• 在 K 个步骤内执行消息传递，每个样本通过可学习注意力机制从批次中所有其他样本聚合消息。
• 注意力权重通过点积自注意力机制计算，使每个样本在消息聚合过程中能动态权衡邻居的重要性。
• 使用优化后的嵌入计算交叉熵损失，从而实现 CNN 与 MPN 的端到端联合训练。
• 在推理阶段，该方法可仅使用 CNN 主干网络（无额外开销），或进一步应用训练好的 MPN，结合 k-互近邻采样以获得更优性能。

实验结果

研究问题

• RQ1 在小批量中建模所有内部关系是否能超越成对或三元组损失，显著提升深度度量学习性能？
• RQ2 基于注意力的消息传递机制相比手工规则或固定采样策略，在捕捉嵌入空间全局结构方面有何优势？
• RQ3 所提出的方法在不同超参数选择（如消息传递步数或注意力头数）下是否保持性能鲁棒性？
• RQ4 该方法是否能在不依赖测试集反馈或架构过拟合的情况下实现最先进性能？
• RQ5 当小批量中类别数和每类样本数增加时，该方法的性能表现如何？

主要发现

• 在 CUB-200-2011 上，该方法实现了 70.3% 的 Recall@1，达到最先进性能，优于先前方法。
• 在 Cars196 上，模型达到 88.1% 的 Recall@1，表明其在更大、更复杂数据集上的强大性能。
• 在 Stanford Online Products 上，该方法实现 81.4% 的 Recall@1；在 In-Shop Clothes 上达到 92.8%，证实其广泛有效性。
• 即使在“现实检验”协议下（避免使用测试集反馈），该方法在 CUB-200-2011 上仍取得 67.1% 的 Recall@1，在 Cars196 上达到 86.7%，表现出显著鲁棒性。
• 在不同类别数和每类样本数下，性能保持稳定，CUB-200-2011 最大下降 2.8pp，Cars196 最大下降 3.4pp。
• 增加消息传递步数或注意力头数在所有数据集上均未提升性能，表明最优配置具有数据依赖性。