[论文解读] Convolutional Patch Representations for Image Retrieval: an Unsupervised Approach

Mattis Paulin, Julien Mairal+4 more|arXiv (Cornell University)|Mar 1, 2016

Advanced Image and Video Retrieval Techniques参考文献 2被引用 5

一句话总结

本文提出 Patch-CKN，一种基于卷积核网络（CKNs）的无监督卷积描述符，用于图像和图像块检索。其在 Holidays、Oxford 和 UKB 等标准基准上实现了最先进性能，通过无标签学习局部图像块表征，优于 SIFT 和有监督 CNN，且训练速度显著更快。

ABSTRACT

Convolutional neural networks (CNNs) have recently received a lot of attention due to their ability to model local stationary structures in natural images in a multi-scale fashion, when learning all model parameters with supervision. While excellent performance was achieved for image classification when large amounts of labeled visual data are available, their success for un-supervised tasks such as image retrieval has been moderate so far. Our paper focuses on this latter setting and explores several methods for learning patch descriptors without supervision with application to matching and instance-level retrieval. To that effect, we propose a new family of convolutional descriptors for patch representation , based on the recently introduced convolutional kernel networks. We show that our descriptor, named Patch-CKN, performs better than SIFT as well as other convolutional networks learned by artificially introducing supervision and is significantly faster to train. To demonstrate its effectiveness, we perform an extensive evaluation on standard benchmarks for patch and image retrieval where we obtain state-of-the-art results. We also introduce a new dataset called RomePatches, which allows to simultaneously study descriptor performance for patch and image retrieval.

研究动机与目标

• 开发一种鲁棒的无监督局部描述符，用于图像块表征，使其在实例级图像检索任务中具有良好泛化能力。
• 评估卷积网络的无监督训练是否能在检索任务中达到或超越有监督或迁移学习方法的性能。
• 设计一个新的基准数据集 RomePatches，以在一致条件下联合评估图像块和图像检索性能。
• 证明无监督 CKN 可实现与有监督 CNN 相当的最先进性能，且训练速度显著更快。
• 研究主成分分析（PCA）和白化等后处理技术对描述符质量及检索性能的影响。

提出的方法

• 提出 Patch-CKN，一种源自卷积核网络（CKNs）的新一代卷积描述符家族，通过仅使用图像块在无监督方式下进行训练。
• 通过核近似和结构化层设计，将 CKN 重构成一种快速学习算法，实现无需反向传播的高效训练。
• 使用 Hessian-Affine 或密集关键点检测提取局部图像区域，并通过 Patch-CKN 描述符进行编码。
• 采用 VLAD 池化方法将局部描述符聚合为紧凑的全局图像表征，用于检索。
• 应用 PCA 和白化作为后处理步骤，进一步提升描述符质量和检索精度。
• 在新提出的 RomePatches 数据集上，同时评估图像块级和图像级检索性能，该数据集提供基于三维重建的真实匹配结果。

实验结果

研究问题

• RQ1 卷积网络的无监督训练是否能生成在图像检索任务中与有监督或迁移学习方法相媲美甚至更优的局部描述符？
• RQ2 在图像块检索中表现良好的描述符，其在聚合后于图像级检索中的性能是否也具有可比性？
• RQ3 与 SIFT 及其他基于 CNN 的描述符相比，所提出的 Patch-CKN 描述符在准确率和训练效率方面表现如何？
• RQ4 PCA 和白化等后处理技术在多大程度上提升了无监督描述符的性能？
• RQ5 一种无标签训练的描述符是否能在 Holidays、Oxford 和 UKB 等标准基准上实现最先进性能？

主要发现

• 在 Holidays 数据集上，Patch-CKN 达到 79.3% 的 mAP，在 Oxford 数据集上（查询裁剪）达到 49.8% 的 mAP，优于 SIFT，且与全局 CNN 相当或更优。
• 在应用 PCA 和白化后，Patch-CKN 在使用密集图像块的 Holidays 数据集上达到 82.9% 的 mAP，超越 MOP-CNN 方法，创下新 SOTA 记录。
• 在 Oxford 数据集上，使用 Hessian-Affine 图像块并结合重力假设时，Patch-CKN 达到 56.5% 的 mAP，优于先前 SOTA 的 SIFT 方法。
• 无监督训练的 Patch-CKN 在三个基准数据集上均优于有监督 Siamese CNN 和微调后的 AlexNet，证明监督信号并非高性能的必要条件。
• 由于基于核的公式设计，Patch-CKN 的训练速度显著快于标准 CNN，支持高效的超参数搜索。
• 本研究证实，图像块检索中的描述符性能可良好泛化至图像检索任务，验证了 RomePatches 作为统一基准的适用性。