[论文解读] Attention-Aware Generalized Mean Pooling for Image Retrieval

Yinzheng Gu, Chuanpeng Li+1 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Image and Video Retrieval Techniques参考文献 22被引用 26

一句话总结

本文提出注意力感知广义均值（AGeM）池化方法，将软注意力机制集成到ResNet-101中，在应用可微分的GeM池化前增强特征的相关性。该方法在ROxford5k和RParis6k基准测试中达到最先进性能，在'Hard'评估协议下mAP分别达到79.4%和82.1%。

ABSTRACT

It has been shown that image descriptors extracted by convolutional neural networks (CNNs) achieve remarkable results for retrieval problems. In this paper, we apply attention mechanism to CNN, which aims at enhancing more relevant features that correspond to important keypoints in the input image. The generated attention-aware features are then aggregated by the previous state-of-the-art generalized mean (GeM) pooling followed by normalization to produce a compact global descriptor, which can be efficiently compared to other image descriptors by the dot product. An extensive comparison of our proposed approach with state-of-the-art methods is performed on the new challenging ROxford5k and RParis6k retrieval benchmarks. Results indicate significant improvement over previous work. In particular, our attention-aware GeM (AGeM) descriptor outperforms state-of-the-art method on ROxford5k under the `Hard' evaluation protocal.

研究动机与目标

• 通过在CNN中引入注意力机制来增强判别性特征，以提升图像检索性能。
• 解决现成CNN特征缺乏检索特定优化的局限性。
• 以端到端可训练的方式将注意力机制与GeM池化结合，生成紧凑且准确的全局描述符。
• 在不依赖复杂局部特征流水线或空间验证的情况下实现优异性能。

提出的方法

• 采用双分支网络结构：主干分支使用ResNet-101，注意力分支在较早块的特征图上添加额外层。
• 通过残差学习应用软注意力机制，将注意力图与基础特征融合，突出相关区域和关键点。
• 对注意力感知特征应用共享参数p的可微分广义均值（GeM）池化，聚合为2048维描述符。
• 使用ℓ²归一化对最终描述符进行归一化，以支持高效的点积比较。
• 采用加权方案（α-QE, β-DBA）进行查询扩展（QE）和数据库增强（DBA），进一步提升mAP。
• 通过反向传播端到端训练整个网络，仅增加极少计算开销。

实验结果

研究问题

• RQ1 注意力机制能否通过聚焦语义重要区域和关键点来提升基于CNN的图像检索性能？
• RQ2 将注意力机制与GeM池化结合，是否能生成优于标准GeM或池化基线的全局描述符？
• RQ3 所提出的AGeM方法与依赖局部特征和几何验证的最先进方法相比表现如何？
• RQ4 在使用AGeM描述符时，查询扩展和数据库增强的最优配置是什么？

主要发现

• 在'Hard'协议下，AGeM描述符在ROxford5k上的mAP达到79.4%，优于先前最先进方法。
• 在RParis6k的'Hard'协议下，AGeM实现82.1%的mAP，超越所有先前基于CNN的方法，并与复杂的局部特征流水线性能相当。
• AGeM与β-DBA和α-QE结合后，在RParis6k上实现82.1%的mAP，证明了加权后处理的有效性。
• 该方法以极低的计算开销实现优越性能，因为注意力分支轻量化且可通过反向传播训练。
• 即使不使用后处理，AGeM在ROxford5k上也优于原始GeM和DIR方法，表明其内在特征学习能力强大。
• 消融实验表明，当使用β-DBA时，α = 0（即平均查询扩展）为最优配置，说明查询端优化仅需简单平均即可。