[论文解读] Unsupervised Part-based Weighting Aggregation of Deep Convolutional Features for Image Retrieval

Jian Xu, Cunzhao Shi+3 more|arXiv (Cornell University)|May 3, 2017

Advanced Image and Video Retrieval Techniques被引用 26

一句话总结

本文提出了一种无监督的基于部件的加权聚合（PWA）方法，用于图像检索。该方法利用预训练卷积神经网络（CNN）中的判别性滤波器作为部件检测器，生成‘概率提议’——即空间上局部化、具备语义感知能力的区域，突出显示物体部件。通过使用这些提议对卷积特征进行加权和聚合，PWA在无需标注训练数据的情况下，在四个标准基准上实现了最先进性能。

ABSTRACT

In this paper, we propose a simple but effective semantic part-based weighting aggregation (PWA) for image retrieval. The proposed PWA utilizes the discriminative filters of deep convolutional layers as part detectors. Moreover, we propose the effective unsupervised strategy to select some part detectors to generate the "probabilistic proposals", which highlight certain discriminative parts of objects and suppress the noise of background. The final global PWA representation could then be acquired by aggregating the regional representations weighted by the selected "probabilistic proposals" corresponding to various semantic content. We conduct comprehensive experiments on four standard datasets and show that our unsupervised PWA outperforms the state-of-the-art unsupervised and supervised aggregation methods. Code is available at https://github.com/XJhaoren/PWA.

研究动机与目标

• 解决全局特征聚合在捕捉图像检索中判别性物体部件方面的局限性。
• 通过开发一种无监督策略，从预训练CNN中识别有意义的部件检测器，克服对有监督微调的需求。
• 通过学习到的概率提议，抑制背景噪声并强调语义相关的物体部件，从而改进特征表示。
• 在无法实际收集标注训练数据的低资源环境中，实现有效的图像检索。
• 证明无监督选择部件检测器可优于无监督和有监督的最先进方法。

提出的方法

• 利用预训练VGG16网络pool5层的特征，提取通道级特征图作为候选部件检测器。
• 将‘概率提议’定义为经过归一化的特征图通道，以突出显示特定语义内容（如尖顶、弧形、建筑基底）及其空间布局。
• 应用无监督策略，选择在图像中对有意义物体部件具有稳定响应的判别性滤波器。
• 使用选定的概率提议对区域卷积特征进行加权，以突出判别性部件并抑制背景。
• 将加权后的区域表示聚合为全局PWA嵌入向量，用于图像检索。
• 使用无监督IME层映射，以确保与有监督方法的公平比较，同时保持方法的无监督特性。

实验结果

研究问题

• RQ1 能否通过从预训练CNN中无监督选择判别性滤波器，有效生成用于图像检索的部件检测器？
• RQ2 与全局池化或传统聚合方法相比，使用概率提议的基于部件的加权聚合是否能提升检索性能？
• RQ3 无监督方法是否能优于依赖标注数据微调的最先进有监督方法？
• RQ4 所提出方法在抑制背景噪声的同时，保留判别性物体部件特征方面的有效性如何？
• RQ5 该方法在无需任务特定微调或标注的情况下，是否能在多样化数据集上实现良好泛化？

主要发现

• 所提出的PWA方法在Oxford5k上达到87.8%的mAP，较之前最先进无监督方法高出超过8.3%。
• 在Paris6k上，PWA达到94.9%的mAP，超越了之前的SOTA方法，并与包含额外验证阶段的有监督方法（如R-MAC）相当或更优。
• 即使在512维表示下，PWA的性能也与最佳无监督方法相当，仅在Paris6k上略逊于R-MAC。
• 使用更高维特征（1024、2048、4096）的PWA在所有四个数据集上均持续优于所有基线方法。
• PWA+QE（查询扩展）优于R-MAC+AML+QE，证明其在无需昂贵验证阶段的情况下仍具有更优的有效性。
• 无监督PWA方法在所有数据集上均超越了最先进有监督方法，证明其在无需微调或标注数据情况下的鲁棒性与泛化能力。