[论文解读] Learning Covariant Feature Detectors

Karel Lenc, Andrea Vedaldi|arXiv (Cornell University)|May 4, 2016

Advanced Image and Video Retrieval Techniques参考文献 48被引用 19

一句话总结

本文提出了一种新颖的机器学习框架，通过将检测问题建模为使用深度神经网络的回归问题，实现协变特征检测器的训练。该方法提出了一种协方差约束，使稳定视觉锚点的端到端学习成为可能，在标准基准测试中，其重复性和匹配准确率优于传统手工设计的检测器。

ABSTRACT

Local covariant feature detection, namely the problem of extracting viewpoint invariant features from images, has so far largely resisted the application of machine learning techniques. In this paper, we propose the first fully general formulation for learning local covariant feature detectors. We propose to cast detection as a regression problem, enabling the use of powerful regressors such as deep neural networks. We then derive a covariance constraint that can be used to automatically learn which visual structures provide stable anchors for local feature detection. We support these ideas theoretically, proposing a novel analysis of local features in term of geometric transformations, and we show that all common and many uncommon detectors can be derived in this framework. Finally, we present empirical results on translation and rotation covariant detectors on standard feature benchmarks, showing the power and flexibility of the framework.

研究动机与目标

• 解决长期存在的使用机器学习学习视角不变局部特征检测器的挑战。
• 提出一种通用公式，联合学习检测器及其检测目标（锚点），而无需预定义锚点类型。
• 通过将检测重新表述为回归任务，使强大的回归器（如深度神经网络）可用于特征检测。
• 通过几何变换和群论，为理解协变检测器提供理论基础。
• 在平移、旋转和仿射不变检测任务上，对框架进行实证验证。

提出的方法

• 将局部特征检测建模为回归问题：训练神经网络，使其从图像块预测指向最近特征位置的位移向量。
• 引入协方差约束，确保检测器在图像变换（如旋转、平移）下的输出可预测地变换，从而实现对干扰变换的不变性。
• 利用几何群论，通过其变换协变性来表征检测器，识别其固定哪些变换，哪些变换保持不变。
• 推导出一个通用框架，统一常见检测器（如Harris、Hessian、DoG），并可通过相同训练目标学习新检测器。
• 使用全卷积网络实现该方法，采用步长为2的推理策略，以提高效率同时保持高性能。
• 通过随机变换（如旋转、平移）的数据增强技术进行训练，以在优化过程中强制实现协方差。

实验结果

研究问题

• RQ1 局部特征检测能否被有效建模为回归问题，以实现与深度网络的端到端学习？
• RQ2 如何推导出一种通用的协方差约束，以确保检测器在学习自身锚点的同时对视角变化保持不变？
• RQ3 所提出的框架能否在单一学习框架下统一并推广现有的手工设计检测器（如Harris、DoG、Hessian）？
• RQ4 与传统手工设计检测器相比，使用该方法从零开始学习检测器是否能在重复性和匹配准确率方面表现更优？
• RQ5 该框架能否扩展以学习复杂检测器，如尺度选择和仿射自适应网络？

主要发现

• 所提出的DetNet框架在VGG-Affine基准测试中，其重复性和匹配得分均高于标准检测器（如DoG、Harris、FAST）。
• 采用步长为2推理的DetNet保持了强劲性能，其匹配得分与密集推理相当，证明了在不显著损失准确率的前提下具备高效性。
• 方向检测器RotNet将角度配准误差降低了最多一半，尤其在存在平移噪声时表现更优。
• 在SE(2)（平移与旋转）协变性下训练的RotNet优于SIFT的方向估计方法，尤其在存在干扰平移时表现更佳。
• 用RotNet替代SIFT的方向估计可提升VGG-Affine基准测试的整体匹配得分，证实了学习方向检测的实际优势。
• 理论框架成功通过其变换协变性表征了所有常见与不常见的检测器类型，验证了该方法的通用性。