[论文解读] Group Invariant Deep Representations for Image Instance Retrieval

Olivier Morère, Antoine Veillard+4 more|arXiv (Cornell University)|Jan 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 16被引用 11

一句话总结

本文提出了一种新颖的方法，通过利用不变性理论，从卷积神经网络（CNN）生成紧凑且群不变的深度全局描述符，从而在旋转、平移和缩放等变换下实现鲁棒的图像实例检索。该方法在UKBench数据集上相比基线方法将检索准确率提升了高达86%，同时保持了低维性，并在不同数据集间具有良好的泛化能力，且不易过拟合。

ABSTRACT

Most image instance retrieval pipelines are based on comparison of vectors known as global image descriptors between a query image and the database images. Due to their success in large scale image classification, representations extracted from Convolutional Neural Networks (CNN) are quickly gaining ground on Fisher Vectors (FVs) as state-of-the-art global descriptors for image instance retrieval. While CNN-based descriptors are generally remarked for good retrieval performance at lower bitrates, they nevertheless present a number of drawbacks including the lack of robustness to common object transformations such as rotations compared with their interest point based FV counterparts. In this paper, we propose a method for computing invariant global descriptors from CNNs. Our method implements a recently proposed mathematical theory for invariance in a sensory cortex modeled as a feedforward neural network. The resulting global descriptors can be made invariant to multiple arbitrary transformation groups while retaining good discriminativeness. Based on a thorough empirical evaluation using several publicly available datasets, we show that our method is able to significantly and consistently improve retrieval results every time a new type of invariance is incorporated. We also show that our method which has few parameters is not prone to overfitting: improvements generalize well across datasets with different properties with regard to invariances. Finally, we show that our descriptors are able to compare favourably to other state-of-the-art compact descriptors in similar bitranges, exceeding the highest retrieval results reported in the literature on some datasets. A dedicated dimensionality reduction step --quantization or hashing-- may be able to further improve the competitiveness of the descriptors.

研究动机与目标

• 解决基于CNN的全局描述符在常见物体变换（如旋转和缩放）下缺乏鲁棒性的问题。
• 开发一种基于数学基础理论的方法，将多种变换群（如旋转、平移、缩放）的不变性整合到基于CNN的全局描述符中。
• 生成紧凑、低维的描述符，在相似比特率下超越现有最先进方法的检索准确率。
• 在具有不同不变性特性的多样化数据集上展示描述符的泛化能力，最大限度降低过拟合风险。
• 验证统计池化（如均值、方差、高阶矩）在增强不变性和性能方面的有效性。

提出的方法

• 该方法将不变性理论（i-theory）应用于CNN特征，具体以pool5层作为基础表征，以强制实现对变换群的不变性。
• 针对每个变换群（G_S、G_T、G_R分别对应缩放、平移、旋转），计算输入图像经变换后版本的统计矩（如平均值、二阶矩、无穷阶矩）。
• 最终描述符通过堆叠多个变换群的池化特征生成，形成紧凑且不变的全局描述符。
• 该方法采用与i-theory兼容的前馈网络结构，无需反向传播即可实现不变性，避免了不变性学习的反向传播需求。
• 该方法支持任意组合的变换群与统计矩，通过实验选择最优配置（如A_GS–S_GT–M_GR）。
• 应用简单的基于阈值的二值化步骤，生成紧凑的二进制哈希，同时保持强大的检索性能。

实验结果

研究问题

• RQ1 能否通过理论框架有效将多种变换群（旋转、平移、缩放）的不变性整合到基于CNN的全局描述符中？
• RQ2 引入高阶统计矩（如均值、方差、无穷阶矩）是否能提升全局描述符的鲁棒性和性能？
• RQ3 所生成的描述符能否在具有不同不变性特征的多样化图像检索数据集上实现良好泛化？
• RQ4 与现有最先进紧凑描述符相比，该方法在准确率和比特率效率方面表现如何？
• RQ5 尽管引入了额外超参数，该方法在多大程度上仍保持对过拟合的鲁棒性？

主要发现

• 与UKBench数据集上的基线pool5描述符相比，所提方法在该数据集上检索准确率最高提升86%，该数据集包含大量旋转图像。
• 将缩放、平移、旋转三个变换群与最优统计矩（A_GS–S_GT–M_GR）结合，在所有数据集上相较基线pool5描述符平均提升41%。
• 根据数据集不同，该方法相比pool5的性能提升在29%至86%之间，尤其在旋转方差较高的数据集中提升更显著。
• 表现最佳的描述符A_GS–S_GT–M_GR在平均mAP上比fc6高出26%，同时其表征大小仅为后者的1/256。
• 简单的二值化步骤生成的512位哈希相比pool5性能提升39%，且在相似比特率下与其它最先进紧凑描述符具有竞争力。
• 该方法在不同数据集间泛化良好，无论数据集的特定不变性特性如何，均表现出一致的性能提升，表明过拟合风险极低。