[论文解读] Matching Features without Descriptors: Implicitly Matched Interest Points

Titus Cieslewski, Michael Bloesch+1 more|arXiv (Cornell University)|Nov 26, 2018

Robotics and Sensor-Based Localization参考文献 34被引用 7

一句话总结

该论文提出了一种无需描述符的稀疏特征匹配方法，仅使用单个卷积神经网络，通过将每个兴趣点关联到唯一的输出通道来隐式匹配关键点，从而消除了对描述符的需求。该方法在显著降低内存和带宽使用的同时，实现了具有竞争力的相对位姿估计性能，在效率方面优于基于描述符的基线方法，同时在极低表示尺寸下保持了高精度。

ABSTRACT

The extraction and matching of interest points is a prerequisite for many geometric computer vision problems. Traditionally, matching has been achieved by assigning descriptors to interest points and matching points that have similar descriptors. In this paper, we propose a method by which interest points are instead already implicitly matched at detection time. With this, descriptors do not need to be calculated, stored, communicated, or matched any more. This is achieved by a convolutional neural network with multiple output channels and can be thought of as a collection of a variety of detectors, each specialized to specific visual features. This paper describes how to design and train such a network in a way that results in successful relative pose estimation performance despite the limitation on interest point count. While the overall matching score is slightly lower than with traditional methods, the approach is descriptor free and thus enables localization systems with a significantly smaller memory footprint and multi-agent localization systems with lower bandwidth requirements. The network also outputs the confidence for a specific interest point resulting in a valid match. We evaluate performance relative to state-of-the-art alternatives.

研究动机与目标

• 消除稀疏特征匹配中显式描述符的需求，降低视觉定位系统中的内存和通信成本。
• 开发一种统一的CNN架构，联合完成兴趣点检测与匹配，无需单独的描述符计算。
• 使用未标定的图像序列以自监督方式训练网络，以提升鲁棒性与泛化能力。
• 在极小数据表示下实现具有竞争力的相对位姿估计性能，尤其适用于带宽和内存受限的场景。
• 证明通过通道特异性最大值实现的隐式匹配可替代传统基于描述符的匹配，且精度相当。

提出的方法

• 该方法使用具有多个输出通道的单个卷积神经网络，其中每个通道专门用于检测特定类型的视觉特征。
• 兴趣点被定义为每个通道响应的全局最大值，从而在不同视图中确保特征位置的唯一性与区分性。
• 通过跨图像关联相同通道中的点实现隐式匹配，从而无需计算和比较描述符。
• 使用自监督损失函数训练网络，通过真实对应关系鼓励内点对应关系和通道专业化。
• 每个兴趣点输出一个置信度分数，基于通道响应生成，可在基于RANSAC的几何验证中提升鲁棒性。
• 该方法仅使用点坐标和通道索引（每点最少3字节）表示视觉观测，大幅降低数据存储量。

实验结果

研究问题

• RQ1 能否通过CNN中通道特异性响应实现无需显式描述符的兴趣点匹配？
• RQ2 无描述符的隐式匹配方法在相对位姿估计中的性能与最先进基于描述符的方法相比如何？
• RQ3 该方法在多智能体或资源受限的定位系统中，能在多大程度上减少内存和带宽需求？
• RQ4 自监督训练策略是否能有效训练网络，使其在无描述符的情况下生成可靠且倾向于内点的兴趣点？
• RQ5 在准确率-效率权衡方面，该方法的表示尺寸与压缩描述符基线相比如何？

主要发现

• 该方法在相对位姿估计性能上与SIFT和学习型描述符相当，当内点数量超过10时，80%的图像对能获得良好位姿（旋转误差 <1°，平移误差 <30 cm）。
• 网络响应幅度与内点概率相关，可潜在用于RANSAC采样策略以提升效率。
• 在每点3字节的表示尺寸（坐标 + 通道索引）下，该方法在KITTI和EuRoC数据集上的准确率-尺寸权衡上优于SIFT与PCA及乘积量化方法。
• 即使匹配得分略低于基于描述符的方法，无描述符方法仍显著降低了内存和通信开销。
• 该方法在窄基线数据集上保持了强劲性能，证明其在具有挑战性但常见的视觉定位场景中具备鲁棒性。
• 使用未标定图像序列进行训练可实现有效的自监督学习，泛化能力良好，无需标注描述符。