[论文解读] Attention-based Ensemble for Deep Metric Learning

Wonsik Kim, Bhavya Goyal+3 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Image and Video Retrieval Techniques参考文献 34被引用 22

一句话总结

本文提出了一种基于注意力的集成方法（ABE-M），通过为多个学习器训练不同的注意力掩码，使其聚焦于图像的不同区域，从而增强模型多样性。通过引入对比损失以进一步促进注意力特征之间的差异性，ABE-M在CARS-196、CUB-200-2011、SOP以及in-shop服装检索基准上实现了最先进性能，且参数量少于基线集成方法。

ABSTRACT

Deep metric learning aims to learn an embedding function, modeled as deep neural network. This embedding function usually puts semantically similar images close while dissimilar images far from each other in the learned embedding space. Recently, ensemble has been applied to deep metric learning to yield state-of-the-art results. As one important aspect of ensemble, the learners should be diverse in their feature embeddings. To this end, we propose an attention-based ensemble, which uses multiple attention masks, so that each learner can attend to different parts of the object. We also propose a divergence loss, which encourages diversity among the learners. The proposed method is applied to the standard benchmarks of deep metric learning and experimental results show that it outperforms the state-of-the-art methods by a significant margin on image retrieval tasks.

研究动机与目标

• 通过增强特征多样性来提升深度度量学习的性能。
• 解决现有集成方法中缺乏架构设计以诱导不同集成成员间特征嵌入多样性的不足。
• 开发一种参数高效的集成框架，在减少模型规模的同时保持高性能。
• 验证基于注意力的注意力掩码与对比损失可协同提升单个模型与集成模型的性能。

提出的方法

• 该方法采用M路基于注意力的集成（ABE-M），其中共享一个主干网络，并为每个学习器配备独立的注意力模块，每个模块学习聚焦于输入图像的不同空间区域。
• 每个注意力模块通过关注对象的不同部分，生成独特的特征表示，从而促进学习到的嵌入具有多样性。
• 引入对比损失以显式最小化不同学习器之间注意力图的相似性，鼓励它们关注图像中不同的区域。
• 该框架通过端到端训练，结合标准度量学习损失（如三元组损失或对比损失）与所提出的对比损失进行优化。
• 该架构在所有学习器之间共享早期卷积层，从而减少参数数量，同时保持高性能。
• 该方法在CARS-196、CUB-200-2011、SOP以及in-shop服装检索等标准基准上进行了评估。

实验结果

研究问题

• RQ1 在多个学习器之间基于注意力的特征选择是否能提升深度度量学习的性能？
• RQ2 显式鼓励注意力图之间的差异性是否能带来更好的泛化能力与更高的检索准确率？
• RQ3 具有注意力模块的共享主干集成是否能在更少参数下超越标准的M头集成？
• RQ4 所提出的对比损失是否能同时提升单个学习器性能与集成准确率？

主要发现

• ABE-8在512维特征下于in-shop服装检索数据集上达到98.7%的Recall@50，优于之前的SOTA方法A-BIER（0.3%提升）。
• 在CUB-200-2011（裁剪版）上，ABE-8达到92.2%的Recall@30，超过A-BIER（92.1%）与Margin（90.6%）。
• 在SOP上，ABE-8达到98.2%的Recall@1000，优于A-BIER（97.8%）与Margin（98.0%）。
• 在CARS-196（裁剪版）上，ABE-8达到95.5%的Recall@8，优于A-BIER（95.6%）与HDC（93.8%）。
• 所提出的ABE-4与ABE-8模型在参数更少的情况下，性能仍优于M-head基线方法。
• 对比损失同时提升了单个模型性能与集成准确率，证明其在促进特征多样性方面的有效性。