[论文解读] Learnable Motion Coherence for Correspondence Pruning

Yuan Liu, Lingjie Liu+3 more|arXiv (Cornell University)|Nov 30, 2020

Advanced Vision and Imaging参考文献 59被引用 9

一句话总结

本文提出 LMCNet，一种可学习的神经网络，通过图拉普拉斯基于的平滑函数拟合建模运动一致性，实现稀疏、噪声匹配中鲁棒的对应点剔除。通过全局运动一致性的公式化表达，该方法实现了可微分的运动模式学习，结合全局与局部一致性，在相对相机位姿估计和动态场景对应点剔除任务中优于当前最先进方法。

ABSTRACT

Motion coherence is an important clue for distinguishing true correspondences from false ones. Modeling motion coherence on sparse putative correspondences is challenging due to their sparsity and uneven distributions. Existing works on motion coherence are sensitive to parameter settings and have difficulty in dealing with complex motion patterns. In this paper, we introduce a network called Laplacian Motion Coherence Network (LMCNet) to learn motion coherence property for correspondence pruning. We propose a novel formulation of fitting coherent motions with a smooth function on a graph of correspondences and show that this formulation allows a closed-form solution by graph Laplacian. This closed-form solution enables us to design a differentiable layer in a learning framework to capture global motion coherence from putative correspondences. The global motion coherence is further combined with local coherence extracted by another local layer to robustly detect inlier correspondences. Experiments demonstrate that LMCNet has superior performances to the state of the art in relative camera pose estimation and correspondences pruning of dynamic scenes.

研究动机与目标

• 解决在存在多个几何模型时，稀疏且分布不均的匹配中剔除错误对应点的挑战。
• 克服手工设计的运动一致性规则所需手动调参且在复杂运动模式下失效的局限性。
• 设计一种可微分框架，从稀疏对应点中学习全局运动一致性，支持与神经网络端到端训练。
• 整合局部与全局运动一致性，提升在高异常值比例和复杂运动结构下的内点检测鲁棒性。

提出的方法

• 提出拉普拉斯运动拟合（LMF），一种新颖的公式化方法，通过图拉普拉斯分解在对应点图上进行平滑函数拟合，以建模运动一致性。
• 通过图拉普拉斯的特征分解推导出 LMF 的闭式解，实现在神经网络中的可微分计算。
• 设计一种可微分的一致性残差层（CR-Layer），利用闭式 LMF 解从候选对应点中学习全局运动一致性。
• 开发一种局部一致性层（LC-Layer），从对应点的局部邻域中提取运动一致的支持区域。
• 将 CR-Layer 与 LC-Layer 集成到 LMCNet 中，该深度网络以对应点坐标或特征作为输入，输出内点概率。
• 使用内点标签的监督信号对 LMCNet 进行端到端训练，利用 CR-Layer 的可微性实现联合优化。

实验结果

研究问题

• RQ1 可学习的、可微分的运动一致性公式化方法是否能在高异常值比例和复杂运动模式下提升对应点剔除性能？
• RQ2 通过图拉普拉斯平滑函数拟合建模的全局运动一致性，相比手工规则在内点检测中表现如何提升？
• RQ3 结合全局与局部运动一致性在动态场景和相对位姿估计任务中能将鲁棒性提升到何种程度？
• RQ4 LMCNet 的性能对图拉普拉斯分解中使用的特征向量数量有多敏感？
• RQ5 LMCNet 是否能与现代基于学习的特征提取器和匹配器有效结合，以提升下游位姿估计精度？

主要发现

• LMCNet 在相对相机位姿估计任务中达到最先进性能，在 YFCC100M 数据集上 AUC@5° 达到 34.62%，优于所有基线方法。
• 在动态场景对应点剔除任务的 DETRAC 数据集上，LMCNet 的 AUC@20° 达到 70.53%，超越所有对比方法。
• 消融实验表明，加入 CR-Layers 使 AUC@20° 相比基线提升 2.89%，再加入 LC-Layers 进一步提升 1.67%。
• 在 CR-Layers 中使用 16 个特征向量会显著降低性能，而增加到 64 个则无进一步增益，验证了 32 为最优选择。
• LMCNet 在高异常值比例下仍保持高精度，且随着内点数量减少，精度反而上升，表明其具有鲁棒的置信度校准能力。
• 当与 SuperPoint 和 SuperGlue 结合时，LMCNet 将 AUC@20° 从 33.26% 提升至 37.55%，证明其与现代基于学习的流水线具有强大兼容性。