[论文解读] Patch2Pix: Epipolar-Guided Pixel-Level Correspondences

Qunjie Zhou, Torsten Sattler+1 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Image and Video Retrieval Techniques参考文献 44被引用 8

一句话总结

Patch2Pix 提出了一种新颖的两阶段方法，通过先生成图像块级别的匹配建议，再利用弱监督的细化网络将这些建议精炼为精确且几何一致的像素级匹配，从而学习像素级别的图像对应关系。该方法利用相对相机位姿提供的对极几何约束进行训练，无需真实像素级对应关系，实现了图像匹配、单应性估计和视觉定位任务的最先进性能。

ABSTRACT

The classical matching pipeline used for visual localization typically involves three steps: (i) local feature detection and description, (ii) feature matching, and (iii) outlier rejection. Recently emerged correspondence networks propose to perform those steps inside a single network but suffer from low matching resolution due to the memory bottleneck. In this work, we propose a new perspective to estimate correspondences in a detect-to-refine manner, where we first predict patch-level match proposals and then refine them. We present Patch2Pix, a novel refinement network that refines match proposals by regressing pixel-level matches from the local regions defined by those proposals and jointly rejecting outlier matches with confidence scores. Patch2Pix is weakly supervised to learn correspondences that are consistent with the epipolar geometry of an input image pair. We show that our refinement network significantly improves the performance of correspondence networks on image matching, homography estimation, and localization tasks. In addition, we show that our learned refinement generalizes to fully-supervised methods without re-training, which leads us to state-of-the-art localization performance. The code is available at https://github.com/GrumpyZhou/patch2pix.

研究动机与目标

• 解决由于内存限制导致的对应网络在低分辨率下匹配性能下降的问题。
• 克服完全监督方法的局限性，后者依赖稀疏真实关键点可能导致学习到有偏的特征。
• 开发一种弱监督方法，仅使用相对相机位姿即可学习几何一致的像素级匹配。
• 通过在不重新训练的情况下精炼现有对应网络的输出，提升其准确性。
• 使方法能够泛化至弱监督和完全监督的匹配流水线，从而在多样化的定位任务中提升性能。

提出的方法

• 首先使用基础对应网络（如 NCNet 或 SuperPoint+SuperGlue）生成图像块级别的匹配建议。
• 训练一个细化网络，利用对极几何作为监督信号，在每个建议区域内回归像素级匹配。
• 联合预测每个精炼后匹配的置信度分数，以识别并剔除异常值。
• 利用相对相机位姿计算对极约束，实现在无需真实像素对应关系情况下的弱监督。
• 通过可微损失函数优化细化网络，强制匹配点之间的几何一致性。
• 将细化网络作为后处理模块应用，以增强现有对应网络的输出。

实验结果

研究问题

• RQ1 与端到端对应网络相比，两阶段‘检测-精炼’框架是否能提升像素级对应关系的准确性？
• RQ2 对极几何是否可有效用作弱监督信号，以在无需像素级真实标签的情况下训练细化网络？
• RQ3 所提出的细化网络是否能泛化以提升弱监督和完全监督对应方法的性能？
• RQ4 在大视角变化和无纹理场景等挑战性条件下，Patch2Pix 能在多大程度上提升匹配准确性？
• RQ5 该细化网络是否能提升下游任务（如单应性估计和视觉定位）的性能？

主要发现

• 在 InLoc 基准测试中，Patch2Pix 取得了最先进性能，使用基于 SuperGlue 的提议流水线时，50.0% 的查询在 0.25m 误差内被成功定位，且角度误差小于 10°。
• 在 InLoc 的 DUC1 子集上，使用 SuperGlue 提议的 Patch2Pix 在 0.25m 误差下的定位准确率达到 57.3%，优于所有基线方法。
• 在 DUC1 数据集上，Patch2Pix 相较于最佳基线方法（SuperPoint+SuperGlue）将定位准确率最高提升了 7.5 个百分点。
• Patch2Pix 可泛化至完全监督方法：当应用于 SuperPoint+SuperGlue 时，其在 InLoc 上 0.25m 误差下的性能从 49.0% 提升至 50.0%。
• 在 Aachen Day-Night 数据集中，Patch2Pix 成功应对了极端光照变化和大视角变化，表现出较高的内点匹配比率。
• 可视化结果表明，细化网络显著减少了异常匹配：尤其在空白墙面和道路等挑战性区域，绿色内点匹配的比例显著提高。