[论文解读] Dual-Resolution Correspondence Networks

Xinghui Li, Kai Han+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Neural Network Applications参考文献 51被引用 76

一句话总结

DualRC-Net 使用双分辨率特征图，以自粗到细的方式建立密集像素级对应，在 HPatches、InLoc 和 Aachen Day-Night 上取得最先进的结果，同时降低内存和计算量。

ABSTRACT

We tackle the problem of establishing dense pixel-wise correspondences between a pair of images. In this work, we introduce Dual-Resolution Correspondence Networks (DualRC-Net), to obtain pixel-wise correspondences in a coarse-to-fine manner. DualRC-Net extracts both coarse- and fine- resolution feature maps. The coarse maps are used to produce a full but coarse 4D correlation tensor, which is then refined by a learnable neighbourhood consensus module. The fine-resolution feature maps are used to obtain the final dense correspondences guided by the refined coarse 4D correlation tensor. The selected coarse-resolution matching scores allow the fine-resolution features to focus only on a limited number of possible matches with high confidence. In this way, DualRC-Net dramatically increases matching reliability and localisation accuracy, while avoiding to apply the expensive 4D convolution kernels on fine-resolution feature maps. We comprehensively evaluate our method on large-scale public benchmarks including HPatches, InLoc, and Aachen Day-Night. It achieves the state-of-the-art results on all of them.

研究动机与目标

• 在大视角和光照变化下，激发鲁棒的密集匹配。
• 开发一种可扩展的架构，避免全分辨率的 4D 张量。
• 利用粗到细的引导来聚焦高分辨率匹配。
• 在不产生过高内存成本的前提下提升定位精度。
• 在多个公开基准（HPatches、InLoc、Aachen Day-Night）上展示最先进的性能。

提出的方法

• 使用类似 FPN 的骨干网络提取双分辨率特征图，以获得粗特征和细特征。
• 从粗特征形成完整的 4D 相关张量，并通过邻域一致性模块对其进行细化。
• 使用经细化的粗相关张量来引导细分辨率匹配，以选择高置信度的局部区域。
• 通过将细分辨率得分与屏蔽的、上采样的粗分辨率得分相结合来计算密集匹配。
• 端到端训练，使用稀疏关键点标注，并结合 Frobenius 范数损失和正交正则化器。
• 通过仅查询高一致性粗匹配周围的区域来加速密集匹配，而不是整个细分辨率空间。

实验结果

研究问题

• RQ1 双分辨率特征是否能够在高分辨率图像下实现可靠的密集对应？
• RQ2 粗到细的引导是否在保持或提升定位精度的同时降低内存和计算量？
• RQ3 在具有遮挡、光照和视点变化的挑战性基准上，DualRC-Net 的表现如何？
• RQ4 该方法是否在室内外重定位任务中实现最先进的结果？

主要发现

• 在 HPatches、InLoc 和 Aachen Day-Night 基准上达到最先进的结果。
• 利用经邻域一致性细化的粗分辨率 4D 相关来引导细分辨率匹配，从而提高可靠性和定位。
• 通过将细分辨率匹配限定在由粗匹配标记的位置区域来减少内存开销和计算量。
• 在 HPatches 上，特别是在强烈光照和视点变化下，优于 NCNet 和 Sparse-NCNet。
• 在包括室内和室外场景的多样数据集上展示出强泛化能力。