[论文解读] Fracking Deep Convolutional Image Descriptors

Edgar Simo‐Serra, Eduard Trulls+3 more|arXiv (Cornell University)|Dec 19, 2014

Advanced Image and Video Retrieval Techniques参考文献 22被引用 63

一句话总结

本文提出一种带有铰链嵌入损失的孪生深度卷积神经网络，用于学习具有判别性的局部图像描述子，通过激进挖掘困难正样本和负样本（称为“压裂”）来提高训练效率和性能。该方法在‘Liberty’和‘Notredame’等挑战性数据集上，相比SIFT的平均精度-召回率AUC提升达2.5倍，相比当前最先进方法提升1.5倍。

ABSTRACT

In this paper we propose a novel framework for learning local image descriptors in a discriminative manner. For this purpose we explore a siamese architecture of Deep Convolutional Neural Networks (CNN), with a Hinge embedding loss on the L2 distance between descriptors. Since a siamese architecture uses pairs rather than single image patches to train, there exist a large number of positive samples and an exponential number of negative samples. We propose to explore this space with a stochastic sampling of the training set, in combination with an aggressive mining strategy over both the positive and negative samples which we denote as "fracking". We perform a thorough evaluation of the architecture hyper-parameters, and demonstrate large performance gains compared to both standard CNN learning strategies, hand-crafted image descriptors like SIFT, and the state-of-the-art on learned descriptors: up to 2.5x vs SIFT and 1.5x vs the state-of-the-art in terms of the area under the curve (AUC) of the Precision-Recall curve.

研究动机与目标

• 开发一种基于深度学习的判别性框架，用于局部图像描述子学习，其性能优于手工设计和现有学习型描述子。
• 通过引入正负样本对的随机采样与激进挖掘策略，解决大规模图像块数据集训练的不可行性问题。
• 研究在孪生CNN设置下，网络架构、激活函数、归一化方法和滤波器尺寸对描述子质量的影响。
• 评估学习到的描述子在具有不同视角变化、遮挡和光照变化的多样化真实世界数据集上的泛化能力。
• 证明全卷积网络在小图像块设置下，相比全连接结构，更适合用于描述子学习。

提出的方法

• 采用孪生CNN架构，其中两个相同的子网络处理成对的图像块并共享权重，使用其最后一层输出的L2距离作为相似性度量。
• 应用铰链嵌入损失函数：它最小化对应图像块（正样本对）之间的L2距离，同时最大化非对应图像块（负样本对）之间的距离，其中包含一个边界值m。
• 训练过程采用训练对的随机采样，并激进挖掘‘困难’的正样本和负样本，以增强模型的判别能力。
• 该方法在Brown等人（2011）的150万张灰度64×64图像块数据集上进行训练，描述子被学习为对视角、光照和遮挡具有不变性。
• 评估了多种CNN架构，包括使用ReLU/Tanh激活函数、批量归一化和不同滤波器尺寸的模型，最佳性能模型为全卷积网络。
• 通过在保留的测试集上计算精确率-召回率AUC来评估性能，采用10折交叉验证，每组真实匹配对应1,000个虚假匹配。

实验结果

研究问题

• RQ1 带有铰链嵌入损失的孪生CNN是否能学习到比SIFT和当前最先进学习型描述子更具判别性的局部图像描述子？
• RQ2 在大规模图像块匹配任务中，对困难正负样本对进行激进挖掘如何影响描述子性能？
• RQ3 在孪生CNN设置下，哪些CNN架构组件——滤波器尺寸、激活函数、归一化方法、全连接层与全卷积层——能产生最佳描述子质量？
• RQ4 在具有显著视角变化、遮挡和光照变化的数据集中，学习到的描述子是否比SIFT具有更好的泛化能力？
• RQ5 训练策略的选择，包括挖掘比例和批量大小，对最终描述子性能的影响有多大？

主要发现

• 在‘Liberty’数据集上，所提方法的精确率-召回率AUC相比SIFT最高提升达2.5倍，且在高召回率区域提升达169%。
• 在‘Notredame’数据集上，学习到的描述子在PR AUC上相比SIFT提升91%，表现出对视角和遮挡的强鲁棒性。
• 表现最佳的模型为使用小滤波器（如5×5和7×7）、ReLU激活函数和批量归一化的全卷积网络，其性能优于使用全连接层的模型。
• 对困难正样本和负样本的激进挖掘至关重要：采用4/4挖掘比例（每批次4个困难正样本和4个困难负样本）的模型达到最高性能。
• 该方法在所有评估中均持续优于当前最先进二值描述子（如BinBoost-256、L-BGM），尤其在‘Liberty’数据集上相对增益最大。
• 在76.5%的验证案例中，真实匹配图像块在1,000个虚假匹配中排名第一，表明即使在高负样本噪声下，其检索精度依然极强。