[论文解读] An Analysis of Object Embeddings for Image Retrieval.

Bor-Chun Chen, Larry S. Davis+1 more|arXiv (Cornell University)|May 28, 2019

Advanced Image and Video Retrieval Techniques参考文献 36被引用 5

一句话总结

本文分析了预训练图像分类与目标检测模型中的对象嵌入在基于内容的图像检索中的表现。研究发现，尽管目标检测模型具有更丰富的标注信息，其生成的嵌入质量仍逊于分类模型，但可作为硬注意力机制提升检索性能；作者提出一种引导式师生蒸馏方法，在目标检测框架内学习更具判别性的嵌入，取得了优异的实验结果。

ABSTRACT

We present an analysis of embeddings extracted from different pre-trained models for content-based image retrieval. Specifically, we study embeddings from image classification and object detection models. We discover that even with additional human annotations such as bounding boxes and segmentation masks, the discriminative power of the embeddings based on modern object detection models is significantly worse than their classification counterparts for the retrieval task. At the same time, our analysis also unearths that object detection model can help retrieval task by acting as a hard attention module for extracting object embeddings that focus on salient region from the convolutional feature map. In order to efficiently extract object embeddings, we introduce a simple guided student-teacher training paradigm for learning discriminative embeddings within the object detection framework. We support our findings with strong experimental results.

研究动机与目标

• 评估预训练目标检测模型生成的嵌入在基于内容的图像检索中的有效性。
• 理解尽管目标检测模型具有更丰富的标注信息，为何其在检索任务中表现不如分类模型。
• 探究目标检测模型是否可作为注意力机制，聚焦显著区域以提升嵌入质量。
• 开发一种训练范式，以增强目标检测框架内嵌入的判别性。
• 在标准检索基准上，通过实证验证所提方法相较于强基线模型的优越性。

提出的方法

• 从预训练的图像分类与目标检测模型中提取嵌入，用于在图像检索任务中进行对比分析。
• 将目标检测模型用作硬注意力模块，从特征图中定位并提取显著区域。
• 设计一种引导式学生-教师蒸馏框架，使学生网络从教师网络的特征图中学习判别性嵌入。
• 使用对比损失训练学生网络，以最大化正样本对之间的相似性，同时最小化负样本对之间的相似性。
• 在目标检测流程中端到端应用该方法，以保持定位与嵌入质量。
• 在检索特定损失上微调学生模型，以提升判别能力，而无需重新训练完整的检测模型。

实验结果

研究问题

• RQ1 目标检测模型生成的嵌入在检索性能上与图像分类模型相比如何？
• RQ2 为何尽管目标检测模型拥有边界框和分割掩码，其生成的嵌入在检索任务中仍表现更弱？
• RQ3 能否将目标检测模型作为注意力机制，以提升特征图的定位与嵌入质量？
• RQ4 何种训练策略可实现目标检测框架内判别性嵌入的有效学习？
• RQ5 引导式蒸馏方法在基于检测模型的嵌入上，能在多大程度上提升检索准确率？

主要发现

• 尽管拥有边界框和分割掩码，目标检测模型生成的嵌入在图像检索任务中显著劣于图像分类模型的对应嵌入。
• 尽管整体性能较弱，目标检测模型仍可作为有效的硬注意力机制，聚焦特征图中的显著区域。
• 所提出的引导式学生-教师蒸馏框架成功提升了目标检测框架内的嵌入质量。
• 该方法在检索性能上表现优异，优于基线检测模型嵌入，并在标准基准上达到或超越基于分类模型的基线。
• 消融实验表明，蒸馏过程对提升判别性与检索准确率至关重要。
• 结果表明，当与合适的嵌入训练方法结合时，通过检测头实现的感知定位特征提取可被有效利用。