[论文解读] D2-Net: A Trainable CNN for Joint Detection and Description of Local Features

Mihai Dusmanu, Ignacio Rocco+5 more|arXiv (Cornell University)|May 9, 2019

Advanced Image and Video Retrieval Techniques被引用 74

一句话总结

D2-Net 提供一个可训练的单一卷积神经网络，该网络通过使用密集特征图同时检测关键点与描述局部特征，在具有挑战性的定位基准上实现最先进的性能，在匹配与三维任务上也取得具有竞争力的结果。

ABSTRACT

In this work we address the problem of finding reliable pixel-level correspondences under difficult imaging conditions. We propose an approach where a single convolutional neural network plays a dual role: It is simultaneously a dense feature descriptor and a feature detector. By postponing the detection to a later stage, the obtained keypoints are more stable than their traditional counterparts based on early detection of low-level structures. We show that this model can be trained using pixel correspondences extracted from readily available large-scale SfM reconstructions, without any further annotations. The proposed method obtains state-of-the-art performance on both the difficult Aachen Day-Night localization dataset and the InLoc indoor localization benchmark, as well as competitive performance on other benchmarks for image matching and 3D reconstruction.

研究动机与目标

• 在具有挑战性的成像条件下（照明变化、弱纹理、运动模糊）推动鲁棒的像素级对应。
• 提出一个单一的CNN，联合提供密集描述符和关键点检测，以提高重复性和匹配效率。
• 利用来自大规模 SfM 重构的像素对应来进行无额外注注的训练。
• 在 Aachen Day-Night 与 InLoc 上展示最先进的定位性能，并在图像匹配和三维重建结果上具有竞争力。

提出的方法

• 使用 CNN 计算密集特征图，作为描述符和检测器（describe-and-detect）。
• 描述符是在每个像素处的 n 通道特征向量，进行 L2 归一化以便匹配。
• 检测是在特征图通道之间的局部极大值，通过软、可微的通道选择和一个软局部最大分数实现。
• 通过图像金字塔实现多尺度检测，结合尺度融合和响应门控以避免跨尺度重新检测。
• 训练使用扩展的三元组边距排序损失，联合优化描述符的区分度和关键点的重复性，并以软检测分数加权。
• 在测试阶段，通过架构调整降低内存/计算量（替换最后的池化、应用膨胀卷积、精炼关键点位置）。

实验结果

研究问题

• RQ1 一个同时作为检测器和描述符的单一 CNN 能否在具有挑战性的照明和视角变化下产生鲁棒、可重复的关键点？
• RQ2 相较于传统的检测-再描述流程，将检测推迟到描述符特征图上如何影响匹配准确性和定位性能？
• RQ3 密集、可训练的描述符结合联合检测在标准基准（Aachen Day-Night、InLoc、HPatches）上是否能达到具有竞争力甚至优越的性能，同时对 SfM/定位管线保持实用性？

主要发现

• 在 HPatches 的基于评估中，当阈值为 6.5 像素或以上时，达到最好整体彩分，优于若干 detect-then-describe 基线。
• 在具有挑战性的定位任务中，D2-Net 在 Aachen Day-Night 上取得最先进的结果，在 InLoc 上表现强劲，通常在姿态准确性方面超过密集和稀疏基线，同时使用的特征或内存比某些密集方法少。
• 表 1 的结果显示在方法之间具有竞争力的特征数量与匹配数，D2 MS 及其变体达到较高的匹配质量（D2 SS Trained 与 D2 MS Trained 变体）。
• describe-and-detect 方法在日夜和弱纹理场景下提供鲁棒的对应关系，同时尽管相较传统检测器的单点定位不够精确，仍保持了合理的定位和 SfM 性能。