[论文解读] Multi-Image Semantic Matching by Mining Consistent Features

Qianqian Wang, Xiaowei Zhou+1 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Image and Video Retrieval Techniques参考文献 45被引用 5

一句话总结

本文提出了一种可扩展的多图像语义匹配方法，将问题建模为特征选择与标注，以在数千张图像中识别出稀疏的、可靠的、循环一致且几何一致的特征。通过利用低秩约束实现几何一致性，并剔除不可重复的特征，该方法在基准测试中达到最先进性能，实现了无需标注的3D物体类别重建与关键点发现。

ABSTRACT

This work proposes a multi-image matching method to estimate semantic correspondences across multiple images. In contrast to the previous methods that optimize all pairwise correspondences, the proposed method identifies and matches only a sparse set of reliable features in the image collection. In this way, the proposed method is able to prune nonrepeatable features and also highly scalable to handle thousands of images. We additionally propose a low-rank constraint to ensure the geometric consistency of feature correspondences over the whole image collection. Besides the competitive performance on multi-graph matching and semantic flow benchmarks, we also demonstrate the applicability of the proposed method for reconstructing object-class models and discovering object-class landmarks from images without using any annotation.

研究动机与目标

• 解决在特征可重复性较低的情况下，跨多张图像寻找一致语义对应点的挑战。
• 通过特征选择而非优化所有成对对应关系，减少变量数量，提升大规模图像集合的可扩展性。
• 在多图像匹配中同时强制执行循环一致性和几何一致性，而这一方面在以往方法中常被忽略。
• 实现无需人工监督的无监督3D物体类别模型重建与自动关键点标注。

提出的方法

• 该方法将多图像语义匹配视为特征选择与标注问题，仅从初始的噪声成对对应关系中选择稀疏的可靠特征。
• 引入对应矩阵上的低秩约束，以在所有图像间强制实现几何一致性，灵感来自基于矩阵分解的运动结构法。
• 通过交替方向乘子法（ADMM）联合优化循环一致性与几何一致性，更新特征选择矩阵与对应矩阵。
• 算法使用基于边缘检测生成的稀疏特征候选集，并通过筛选过程剔除如背景杂波等不可重复特征。
• 低秩约束通过矩阵分解高效求解，相比先前方法显著降低计算复杂度。
• 在完成特征选择与标注后，通过插值实现密集对应，并利用仿射分解支持3D重建。

实验结果

研究问题

• RQ1 能否设计一种可扩展的多图像匹配方法，仅在数千张图像中识别出稀疏的、可靠的、可重复的特征？
• RQ2 如何在超越仅循环一致性的基础上，有效在多张图像间强制实现几何一致性？
• RQ3 所提方法能否在标准基准上实现具有竞争力的性能，同时对大规模数据集保持计算高效？
• RQ4 该方法在多大程度上可实现无需人工标注的无监督3D物体类别模型重建？
• RQ5 自动选择的特征能否作为判别性关键点，与人工标注的关键点对齐？

主要发现

• 所提方法在基线成对匹配基础上显著提升了精度，尤其在背景杂乱区域表现更优，且在选择较少特征时精度更高。
• 在FG3DCar数据集上，该方法估计相对旋转的平均测地线误差为18.5°，这是此前未报道过的无监督不同物体实例间相对位姿估计结果。
• 在轿车与摩托车图像上，基于所选特征的3D重建即使在外观与视角差异较大的情况下，也能清晰恢复物体结构。
• 在猫头数据集中，自动选择的特征与人工标注的关键点（如眼睛、耳朵、嘴巴）高度对齐，展现出强大的自动关键点标注潜力。
• 在1000张图像的猫头数据集上，该方法运行时间约为650秒，实现了先前多图像匹配算法（如MatchALS）无法达到的可扩展性。
• 计算复杂度降低至O(mk²)，其中m为总特征数，k为每幅图像选择的特征数，远低于O(m²k)的方法，展现出更高的可扩展性。