[论文解读] D2D: Keypoint Extraction with Describe to Detect Approach

Yurun Tian, Vassileios Balntas+4 more|arXiv (Cornell University)|May 27, 2020

Robotics and Sensor-Based Localization参考文献 55被引用 5

一句话总结

本文提出Describe-to-Detect（D2D）框架，一种新颖的关键点检测方法，利用预训练的CNN描述符识别显著位置，无需额外训练。通过测量描述符的绝对显著性和相对显著性，D2D在图像匹配、相机定位和3D重建等多个基准上均提升了匹配性能，持续提高描述符的准确性，并在不同方法和任务间实现良好泛化。

ABSTRACT

In this paper, we present a novel approach that exploits the information within the descriptor space to propose keypoint locations. Detect then describe, or detect and describe jointly are two typical strategies for extracting local descriptors. In contrast, we propose an approach that inverts this process by first describing and then detecting the keypoint locations. % Describe-to-Detect (D2D) leverages successful descriptor models without the need for any additional training. Our method selects keypoints as salient locations with high information content which is defined by the descriptors rather than some independent operators. We perform experiments on multiple benchmarks including image matching, camera localisation, and 3D reconstruction. The results indicate that our method improves the matching performance of various descriptors and that it generalises across methods and tasks.

研究动机与目标

• 解决计算机视觉流水线中传统检测器-描述符对之间兼容性不佳的问题。
• 克服手工设计与学习型关键点检测器无法针对特定描述符进行优化的局限性。
• 提出一种通用、无需训练的方法，适配任意预训练的CNN描述符以提升关键点检测性能。
• 通过基于描述符信息量而非独立算子检测关键点，提升匹配、定位与3D重建性能。

提出的方法

• 提出Describe-to-Detect（D2D）框架，将标准的先检测后描述的流程反转，首先利用描述符检测关键点。
• 基于描述符显著性定义关键点位置：绝对显著性（通道间的信息量）与相对显著性（相对于空间邻域的独特性）。
• 将绝对显著性计算为局部块内描述符向量的香农熵，衡量局部信息量。
• 将相对显著性计算为以半径 $ r_{\text{RS}} $ 的窗口内，某块与其邻域平均余弦相似度，衡量可区分性。
• 通过非极大值抑制与阈值筛选，基于显著性分数选择最终关键点。
• 通过修改现有描述符的得分图或阈值，无需微调即可将D2D集成至现有描述符（如SuperPoint、D2-Net、HardNet、SOSNet）中。

实验结果

研究问题

• RQ1 是否可以有效利用描述符显著性在不训练专用检测器的情况下检测关键点？
• RQ2 绝对显著性与相对显著性度量在识别信息丰富且独特的关键点位置方面如何互补？
• RQ3 D2D在不重新训练的前提下，能在多大程度上提升不同描述符与数据集上的匹配性能？
• RQ4 D2D是否能提升相机定位与3D重建等下游任务的性能？
• RQ5 D2D检测的关键点在重复性与互补性方面，与其它检测器相比表现如何？

主要发现

• D2D在多个基准上均提升了多种描述符（包括HardNet、SOSNet、SuperPoint与D2-Net）的匹配性能。
• 在Hpatches数据集上，SuperPoint+D2D相较于基线SuperPoint，显著提升了互匹配准确率（MMA）与互近邻匹配比例。
• 在Aachen Day-Night数据集上，SuperPoint+D2D在5m、10°阈值下达到78.6%的准确率，优于原始SuperPoint的75.5%。
• D2-Net+D2D在保持相同定位准确率（88.8%）的同时，检测数减少30%（8.3K vs. 12K），表明D2D有效过滤了低质量关键点。
• 绝对显著性与相对显著性结合使用性能最佳，其中相对显著性使用窗口大小 $ r_{\text{RS}} = 5 $ 时对HardNet与SOSNet表现最优。
• 关键点重复性分析显示跨方法重复性较低（如SuperPoint与HardNet间为0.745），表明D2D在不同描述符间检测到互补特征。