[论文解读] Local Descriptors Optimized for Average Precision

Kun He, Yan Lu+1 more|arXiv (Cornell University)|Apr 15, 2018

Advanced Image and Video Retrieval Techniques被引用 19

一句话总结

本文提出了一种列表式学习排序框架，通过深度神经网络直接优化局部特征描述子在最近邻匹配中的平均精度。通过在分组的图像块小批量上进行训练，并利用空间变换器和基于聚类的监督，该方法在图像块验证、检索和图像匹配基准测试中取得了最先进性能，优于SIFT和先前的有学习描述子。

ABSTRACT

Extraction of local feature descriptors is a vital stage in the solution pipelines for numerous computer vision tasks. Learning-based approaches improve performance in certain tasks, but still cannot replace handcrafted features in general. In this paper, we improve the learning of local feature descriptors by optimizing the performance of descriptor matching, which is a common stage that follows descriptor extraction in local feature based pipelines, and can be formulated as nearest neighbor retrieval. Specifically, we directly optimize a ranking-based retrieval performance metric, Average Precision, using deep neural networks. This general-purpose solution can also be viewed as a listwise learning to rank approach, which is advantageous compared to recent local ranking approaches. On standard benchmarks, descriptors learned with our formulation achieve state-of-the-art results in patch verification, patch retrieval, and image matching.

研究动机与目标

• 通过直接优化基于排序的性能度量（如平均精度）而非代理损失，改进局部特征描述子学习。
• 消除描述子学习流程中对手工设计组件和复杂优化启发式方法的依赖。
• 开发一种通用的学习范式，以提升与任务无关的最近邻匹配阶段的性能。
• 通过任务特定的增强（如空间变换器和基于聚类的监督）提高对几何噪声和数据稀缺性的鲁棒性。
• 在包括UBC Phototour、HPatches、RomePatches和Oxford在内的多个标准基准上展示最先进结果。

提出的方法

• 将描述子学习表述为列表式学习排序问题，直接以平均精度作为目标函数进行优化。
• 使用深度神经网络学习二值化和实值描述子，训练基于分组的图像块小批量，其中正样本在排名中位于顶部。
• 采用空间变换器模块以提高对几何失真的鲁棒性，且无需额外监督。
• 应用基于聚类的技术，为HPatches等困难数据集挖掘额外的图像块级监督信号。
• 从小批量中构建图像块组，这些图像块共享相同的3D点，确保每个图像块的所有匹配项均在同一小批量中，以实现有效的列表式监督。
• 计算小批量内所有图像块之间的成对距离，并将距离结果分箱为直方图，由于距离计算，时间复杂度为O(bM²)。

实验结果

研究问题

• RQ1 与代理损失相比，直接将平均精度作为排序度量进行优化，是否能提升局部描述子的性能？
• RQ2 与近期基于成对或三元组的学习方法相比，列表式学习排序在描述子学习中表现如何？
• RQ3 通过引入如空间变换器等任务特定模块，能否显著增强与任务无关的描述子学习？
• RQ4 基于聚类的监督是否能提升在数据稀缺基准（如HPatches）上的描述子性能？
• RQ5 优化最近邻匹配性能是否能带来在图像匹配和3D重建等下游任务中的更好结果？

主要发现

• 所提方法在UBC Phototour、HPatches、RomePatches和Oxford基准上，于图像块验证、检索和图像匹配任务中均达到最先进性能。
• 在Oxford数据集上，128维实值DOAP描述子优于SIFT和其他有学习描述子，尤其在graf和boat等挑战性序列中表现更优。
• 在Liberty数据集上训练的256位二值化DOAP在Oxford基准的平均性能上优于SIFT和其他实值描述子。
• 在小批量大小约为2048时观察到性能饱和，表明在此之后收益递减。
• 该方法在仅使用8倍更少的维度（128 vs. 1024）下，仍能保持或提升准确率，展现出更高的效率。
• 即使在小批量大小为4096时，使用Nvidia Titan X Pascal GPU训练每轮也仅需不到4分钟，展现出计算效率。