[论文解读] Deep Spectral Correspondence for Matching Disparate Image Pairs

Arun Kumar, Shefali Srivastava+2 more|arXiv (Cornell University)|Sep 12, 2018

Advanced Image and Video Retrieval Techniques参考文献 12被引用 4

一句话总结

本文提出深度谱对应（DSC），一种无需学习的、关注显著性的方法，通过结合局部特征描述子与谱图嵌入，在尺度、视角、光照和遮挡等极端变化下匹配高度不同的图像对。通过在谱嵌入框架中联合优化形状、显著性和正则化项，DSC 在现有及新引入的基准数据集上均实现了最先进性能。

ABSTRACT

A novel, non-learning-based, saliency-aware, shape-cognizant correspondence determination technique is proposed for matching image pairs that are significantly disparate in nature. Images in the real world often exhibit high degrees of variation in scale, orientation, viewpoint, illumination and affine projection parameters, and are often accompanied by the presence of textureless regions and complete or partial occlusion of scene objects. The above conditions confound most correspondence determination techniques by rendering impractical the use of global contour-based descriptors or local pixel-level features for establishing correspondence. The proposed deep spectral correspondence (DSC) determination scheme harnesses the representational power of local feature descriptors to derive a complex high-level global shape representation for matching disparate images. The proposed scheme reasons about correspondence between disparate images using high-level global shape cues derived from low-level local feature descriptors. Consequently, the proposed scheme enjoys the best of both worlds, i.e., a high degree of invariance to affine parameters such as scale, orientation, viewpoint, illumination afforded by the global shape cues and robustness to occlusion provided by the low-level feature descriptors. While the shape-based component within the proposed scheme infers what to look for, an additional saliency-based component dictates where to look at thereby tackling the noisy correspondences arising from the presence of textureless regions and complex backgrounds. In the proposed scheme, a joint image graph is constructed using distances computed between interest points in the appearance (i.e., image) space. Eigenspectral decomposition of the joint image graph allows for reasoning about shape similarity to be performed jointly, in the appearance space and eigenspace.

研究动机与目标

• 解决在尺度、方向、视角、光照和仿射变换等方面存在极端差异的图像对匹配挑战。
• 克服传统局部特征匹配与全局形状描述子在处理遮挡、无纹理区域和形变时的局限性。
• 开发一种鲁棒的无学习对应方法，同时利用低级特征与高级形状表征。
• 引入一个全新的大规模基准数据集，包含真实标注，用于在极端条件下进行差异图像匹配。
• 在粗粒度形状匹配与细粒度点对对应匹配任务中均实现最先进性能。

提出的方法

• 利用外观空间中的点间距离构建联合图像图，以编码局部特征关系。
• 对联合图进行特征谱分解，将图像嵌入共享特征空间，实现联合形状相似性推理。
• 将基于形状的正则化、显著性线索与特征质量整合到统一的能量函数中进行优化。
• 采用凸优化公式平衡形状一致性、显著性和特征可靠性，以优化能量函数。
• 使用深度学习的CNN特征（如SuperPoint）作为输入描述子，但不进行端到端训练。
• 应用基于形状的优化，优先考虑显著且几何一致区域内的对应关系。

实验结果

研究问题

• RQ1 无学习方法能否在高度不同的图像对匹配中实现最先进性能？
• RQ2 联合谱嵌入在极端视角变化下如何提升对应关系的鲁棒性？
• RQ3 显著性感知推理在无纹理或杂乱区域中在多大程度上减少了错误对应？
• RQ4 基于低级特征与高级形状推理的模型能否在无训练数据的情况下超越基于深度学习的基线模型？
• RQ5 形状、显著性和正则化的整合在遮挡和形变条件下如何提升匹配精度？

主要发现

• 所提出的DSC方法在粗粒度形状匹配与细粒度点对对应匹配任务中均实现了最先进性能。
• 当使用SuperPoint等深度特征时，该方法显著优于传统基于特征的匹配方法，证明了谱嵌入的必要性。
• 消融研究证实，性能提升主要源于联合谱嵌入与基于形状的优化，而非仅依赖特征质量的提升。
• 能量函数的最优参数权重为 λ₁=0.75（形状）、λ₂=0.10（正则化）、λ₃=0.15（显著性），通过验证集准确率学习得到。
• 新基准数据集是目前公开可用的最大且最全面的差异图像匹配数据集，包含真实标注的兴趣点。
• 通过显著性引导的注意力机制，该方法有效减少了在无纹理区域和复杂背景等困难区域的错误对应。