[论文解读] Multi-Image Matching via Fast Alternating Minimization

Xiaowei Zhou, Menglong Zhu+1 more|arXiv (Cornell University)|May 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 34被引用 10

一句话总结

本文提出了一种用于多图像匹配的快速交替最小化算法，通过将问题表述为核范数松弛的低秩矩阵恢复问题，联合优化特征亲和度与循环一致性。该方法在现有基于半定规划（SDP）的方法基础上实现了数量级的加速，同时达到最先进性能，实现了对多样化物体实例的鲁棒匹配，适用于类别特定的3D重建。

ABSTRACT

In this paper we propose a global optimization-based approach to jointly matching a set of images. The estimated correspondences simultaneously maximize pairwise feature affinities and cycle consistency across multiple images. Unlike previous convex methods relying on semidefinite programming, we formulate the problem as a low-rank matrix recovery problem and show that the desired semidefiniteness of a solution can be spontaneously fulfilled. The low-rank formulation enables us to derive a fast alternating minimization algorithm in order to handle practical problems with thousands of features. Both simulation and real experiments demonstrate that the proposed algorithm can achieve a competitive performance with an order of magnitude speedup compared to the state-of-the-art algorithm. In the end, we demonstrate the applicability of the proposed method to match the images of different object instances and as a result the potential to reconstruct category-specific object models from those images.

研究动机与目标

• 解决在存在不一致或噪声成对匹配的情况下，跨多幅图像匹配特征的挑战。
• 克服现有基于凸优化的多图像匹配方法中半定规划（SDP）计算效率低下的问题。
• 通过联合优化成对亲和度与循环一致性，提升在存在部分特征重叠的真实场景下的匹配准确性。
• 展示该方法在从不同物体实例的图像中重建类别特定3D物体模型方面的适用性。
• 开发一种可扩展的、全局收敛的算法，适用于包含数千个特征的大规模特征匹配任务。

提出的方法

• 将多图像匹配问题表述为基于成对特征相似度或图匹配得分输入的低秩矩阵恢复问题。
• 用核范数最小化替代计算成本高昂的半定规划（SDP）松弛，以促进低秩解。
• 证明在所提出的公式下，解的半正定性可自发满足，从而避免显式约束。
• 推导一种快速交替最小化算法，在低维变量空间中交替优化特征亲和度与循环一致性。
• 当使用深度特征时，采用加权随机游走算法进行图匹配以生成亲和度得分。
• 将深度特征（如预训练的AlexNet）作为描述子，并应用基于边的特征点采样以增强对外观变化的鲁棒性。

实验结果

研究问题

• RQ1 能否在多图像匹配中用核范数松弛的低秩矩阵恢复替代半定规划，同时保持理论保证？
• RQ2 与最先进的基于SDP的算法相比，所提方法是否能在保持高精度的同时实现显著加速？
• RQ3 对具有显著外观与视角差异的图像，亲和度与循环一致性的联合优化能在多大程度上提升匹配性能？
• RQ4 该方法是否能在无先验对应标注的情况下，成功匹配不同物体实例（如不同车型）之间的特征？
• RQ5 所提方法在涉及数千个特征的大规模匹配问题中是否具备可扩展性与有效性？

主要发现

• 与最先进的基于SDP的算法相比，所提方法在保持竞争性匹配性能的同时，实现了数量级的加速。
• 该方法成功匹配了不同车型（如轿车与SUV）之间的特征，尽管存在显著的外观与视角差异，从而实现了3D重建。
• 当使用深度特征和图匹配得分作为输入时，该方法优于SIFT基匹配与单幅图像图匹配，尤其在具有挑战性的场景中表现更优。
• 亲和度与循环一致性的联合优化显著提升了匹配准确性，该结论在模拟与真实数据集上均得到验证。
• 该算法能够从无先验对应标注的图像集合中，生成视觉上一致的物体类别（如轿车与SUV）3D重建结果。
• 该方法对部分特征重叠与噪声成对匹配表现出鲁棒性，而这些问题在真实图像集合中十分常见。