[论文解读] D2D: Learning to find good correspondences for image matching and manipulation

Olivia Wiles, Sébastien Ehrhardt+1 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Vision and Imaging被引用 16

一句话总结

本文提出 D2D，一种密集到密集的匹配框架，通过结合图像和显著性分数来学习上下文感知特征，从而在光照、视角和材质变化等挑战性条件下识别高质量对应点。该方法通过联合优化特征表示与匹配置信度，在局部匹配、相机定位、3D重建和图像风格迁移任务中均实现了最先进或具有竞争力的性能。

ABSTRACT

We propose a new approach to determining correspondences between image pairs under large changes in illumination, viewpoint, context, and material. While most approaches seek to extract a set of reliably detectable regions in each image which are then compared (sparse-to-sparse) using increasingly complicated or specialized pipelines, we propose a simple approach for matching all points between the images (dense-to-dense) and subsequently selecting the best matches. The two key parts of our approach are: (i) to condition the learned features on both images, and (ii) to learn a distinctiveness score which is used to choose the best matches at test time. We demonstrate that our model can be used to achieve state of the art or competitive results on a wide range of tasks: local matching, camera localization, 3D reconstruction, and image stylization.

研究动机与目标

• 解决在光照、视角、上下文和材质发生大幅变化时，图像对之间寻找可靠对应点的挑战。
• 提升在传统稀疏到稀疏方法因关键点检测不可靠而表现不佳的复杂场景中的匹配精度。
• 开发一个统一框架，使其在包括 3D 重建和图像风格迁移在内的多种视觉任务中均表现良好。
• 引入可学习的显著性分数，实现在推理阶段选择最可靠的匹配点。
• 证明当密集特征匹配同时基于两幅图像并结合显著性评分时，其性能优于或等同于最先进的稀疏方法。

提出的方法

• 该方法学习受两幅输入图像共同条件约束的特征，从而在特征提取过程中实现跨图像的上下文感知。
• 采用深度神经网络生成密集特征图，同时编码两幅图像的信息。
• 为每个特征点学习一个显著性分数，以评估每个潜在对应点的可靠性。
• 在推理阶段，模型仅选择显著性分数最高的匹配点，从而减少误报。
• 模型通过端到端训练，损失函数促使正确对应点的显著性分数高于错误对应点。
• 该框架在多个基准数据集上进行训练和评估，支持零样本迁移至多种下游任务。

实验结果

研究问题

• RQ1 在光照和视角发生大幅变化时，密集到密集的匹配方法是否能优于稀疏到稀疏的方法？
• RQ2 可学习的显著性分数在过滤具有挑战性的图像对中不可靠匹配方面的有效性如何？
• RQ3 一个为对应点学习而训练的统一模型，是否能泛化到包括 3D 重建和图像风格迁移在内的多样化视觉任务？
• RQ4 与单图像特征学习相比，将特征同时基于两幅图像进行条件化是否能提升匹配的鲁棒性？
• RQ5 与现有最先进方法相比，该方法在标准基准上的性能提升如何？

主要发现

• 所提出的 D2D 方法在包括 HPatches 和 MegaDepth 在内的多个局部图像匹配基准上实现了最先进性能。
• 在 ScanNet 和 TUM RGB-D 数据集上，显著提升了相机定位精度，尤其在光照和视角变化较大的情况下表现更优。
• 该模型能够从非结构化图像集合中实现高质量的 3D 重建，几何精度优于先前方法。
• 在图像风格迁移任务中，D2D 能够精确传递风格同时保持结构完整性，展现出强大的泛化能力。
• 显著性分数能有效过滤掉模糊或错误的匹配点，从而提升整体匹配的可靠性。
• 该框架在无需任务特定微调的情况下，能良好泛化至多样化任务，表明其具备强大的零样本迁移能力。