[论文解读] Efficient Neighbourhood Consensus Networks via Submanifold Sparse Convolutions

Ignacio Rocco, Relja Arandjelović+1 more|arXiv (Cornell University)|Apr 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 62被引用 5

一句话总结

本文提出Sparse-NCNet，一种内存和计算效率更高的邻域一致性网络（NCNet）变体，用于图像对应点估计。通过稀疏化相关张量并应用子流形稀疏4D卷积，该方法在保持HPatches、InLoc和Aachen Day-Night基准上最先进性能的同时，将内存使用量和推理时间减少10倍以上，并通过两阶段重定位模块提升了定位精度。

ABSTRACT

In this work we target the problem of estimating accurately localised correspondences between a pair of images. We adopt the recent Neighbourhood Consensus Networks that have demonstrated promising performance for difficult correspondence problems and propose modifications to overcome their main limitations: large memory consumption, large inference time and poorly localised correspondences. Our proposed modifications can reduce the memory footprint and execution time more than $10 imes$, with equivalent results. This is achieved by sparsifying the correlation tensor containing tentative matches, and its subsequent processing with a 4D CNN using submanifold sparse convolutions. Localisation accuracy is significantly improved by processing the input images in higher resolution, which is possible due to the reduced memory footprint, and by a novel two-stage correspondence relocalisation module. The proposed Sparse-NCNet method obtains state-of-the-art results on the HPatches Sequences and InLoc visual localisation benchmarks, and competitive results in the Aachen Day-Night benchmark.

研究动机与目标

• 为解决邻域一致性网络（NCNet）高内存消耗和推理速度慢的问题，这些限制了其在实际部署中的应用。
• 通过引入一种新颖的重定位模块，提升NCNet中对应点的定位精度，增强空间分辨率。
• 通过大幅降低内存占用，实现NCNet对高分辨率输入图像的处理，从而提升特征定位精度。
• 在HPatches Sequences、InLoc和Aachen Day-Night等具有极端光照和视角变化的挑战性基准上，实现最先进性能。
• 使端到端可训练的联合特征提取、匹配与过滤成为现实，适用于三维重建和视觉定位等实际应用。

提出的方法

• 该方法用稀疏表示替代NCNet中的密集相关张量，仅存储最具潜力的候选匹配，从而减少内存和计算开销。
• 采用子流形稀疏卷积的4D卷积神经网络，高效处理稀疏相关张量，同时保留空间结构并最小化计算量。
• 引入两阶段对应点重定位模块：首先采用粗到细策略优化匹配，然后通过可微回归头进一步精炼其空间位置。
• 借助稀疏性带来的内存大幅降低，实现高分辨率输入图像的处理，从而在不增加计算成本的前提下实现更精细的定位。
• 整个流程端到端可微，支持特征提取、匹配与过滤的联合优化。
• 模型使用标准对比损失和真实对应点的监督信号进行训练，推理阶段通过在最终稀疏输出上进行贪婪匹配完成。

实验结果

研究问题

• RQ1 NCNet的内存和计算开销能否在不损失匹配精度的前提下被显著降低？
• RQ2 子流形稀疏卷积能否有效处理稀疏4D相关张量，从而加速推理并减少内存使用？
• RQ3 由稀疏性实现的高分辨率输入处理，是否能提升对应点的定位精度？
• RQ4 两阶段重定位模块能否显著提升预测匹配的空间精度？
• RQ5 所提出的Sparse-NCNet是否在具有极端光照和视角变化的基准上达到最先进性能？

主要发现

• 与原始NCNet相比，Sparse-NCNet将内存消耗降低最多达20倍，推理时间减少10倍以上，且匹配性能保持不变。
• 在HPatches Sequences基准上，Sparse-NCNet实现了最先进性能，优于以往方法，尤其在挑战性的视角和光照条件下表现更优。
• 在InLoc基准上，Sparse-NCNet在200×150分辨率下采用两阶段重定位模块，创下新SOTA结果，优于NCNet及以往方法。
• 在Aachen Day-Night基准上，Sparse-NCNet将68.4%的查询定位在1米和5度以内，达到1米/5度阈值下的最先进性能。
• 在Aachen Day-Night的夜间查询中，模型成功定位了98个中的67个，性能与R2D2和D2-Net相当或更优，且参数更少、内存占用更低。
• 定性结果表明，该方法生成的空间一致匹配组具有良好的聚类特性，高置信度匹配形成清晰簇状分布，表明其鲁棒性与定位能力得到提升。