[论文解读] Learning Two-View Correspondences and Geometry Using Order-Aware Network

Jiahui Zhang, Dawei Sun+7 more|arXiv (Cornell University)|Aug 14, 2019

Advanced Vision and Imaging参考文献 45被引用 54

一句话总结

该论文提出 Order-Aware Network (OANet)，通过 DiffPool、Order-Aware DiffUnpool 以及一个 Order-Aware Filtering 块，联合预测稀疏对应的内点概率并回归本质矩阵，以捕捉局部和全局上下文，从而提升两视几何估计。

ABSTRACT

Establishing correspondences between two images requires both local and global spatial context. Given putative correspondences of feature points in two views, in this paper, we propose Order-Aware Network, which infers the probabilities of correspondences being inliers and regresses the relative pose encoded by the essential matrix. Specifically, this proposed network is built hierarchically and comprises three novel operations. First, to capture the local context of sparse correspondences, the network clusters unordered input correspondences by learning a soft assignment matrix. These clusters are in a canonical order and invariant to input permutations. Next, the clusters are spatially correlated to form the global context of correspondences. After that, the context-encoded clusters are recovered back to the original size through a proposed upsampling operator. We intensively experiment on both outdoor and indoor datasets. The accuracy of the two-view geometry and correspondences are significantly improved over the state-of-the-arts. Code will be available at https://github.com/zjhthu/OANet.git.

研究动机与目标

• 通过利用局部和全局上下文来提升稀疏对应的两视几何估计的准确性。
• 开发对对应点的置换不变聚类，以在没有预定义邻居的情况下捕捉局部上下文。
• 实现层次化的上下文建模，并对原始对应点进行精确上采样。
• 通过一个可微的、加权的八点算法端到端回归本质矩阵 E_hat。
• 在户外和室内数据集上展示相较于先前方法改进的姿态估计。

提出的方法

• 引入 Differentiable Pooling (DiffPool)，将无序的对应点聚类为一个规范顺序。
• 开发 Order-Aware Differentiable Unpooling (DiffUnpool)，在保持顺序感知的情况下将聚类上采样回原始对应点。
• 增加 Order-Aware Filtering 块，通过按规范顺序相关联聚类来建模全局上下文。
• 使用置换等变的 f_phi 产生每个对应点的 logits z 和权重 w，用于内点可能性的估计。
• 通过可微的加权八点算法 g(w, C) 回归本质矩阵 E_hat。
• 结合内点分类损失与本质矩阵损失（L2 或几何损失）进行训练。

实验结果

研究问题

• RQ1 一个置换不变的稀疏对应点聚类是否能够捕捉局部上下文以提升离群点剔除的效果？
• RQ2 学习到的聚类/上采样的层次结构与顺序感知的过滤是否更好地建模两视几何的全局上下文？
• RQ3 端到端可微的对应点加权是否能在本质矩阵回归中优于传统鲁棒方法？
• RQ4 相比基线方法（PointCN、PointNet++、N3Net、DFE），在未知场景和是否使用 RANSAC 的情况下，所提出方法的表现如何？

主要发现

• 所提出的 DiffPool 与 Order-Aware DiffUnpool 使学习能够对对应点进行聚类与上采样，达到规范顺序，从而改善局部上下文建模。
• Order-Aware Filtering 块显著提升在网络第二层的全局上下文建模，相较于基线的 PointCN 块。
• 消融研究表明 Order-Aware DiffUnpool 能带来显著收益（例如在未知场景且无 RANSAC 时相对基线提升 5.23%）。
• 用 Order-Aware Filtering 块替换 PointCN 块在未知场景且无 RANSAC 时进一步提升。
• 迭代网络变体与几何损失进一步提升性能，在户外数据集（YFCC100M）和室内数据集（SUN3D）上均有稳定改进。
• 与 baselines（PointCN、PointNet++、N3Net、DFE）相比，在多种设置下，包括未知场景和有/无 RANSAC，所提出的方法实现了最佳的 mAP。