[论文解读] Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence

Dylan Campbell, Lars Petersson+2 more|arXiv (Cornell University)|Sep 27, 2017

Robotics and Sensor-Based Localization参考文献 43被引用 8

一句话总结

该论文提出了一种在SE(3)空间中使用分支定界搜索的全局最优方法，用于同时估计相机位姿和2D-3D特征对应关系，并引入了新颖的内点基数几何边界。该方法无需位姿先验即可保证全局最优性，在合成数据集和真实世界数据集（包括弱对应关系的大规模户外场景）上均优于局部和全局基线方法。

ABSTRACT

Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D point-set is an important task for many computer vision applications. Perspective-n-Point (PnP) solvers are routinely used for camera pose estimation, provided that a good quality set of 2D-3D feature correspondences are known beforehand. However, finding optimal correspondences between 2D key-points and a 3D point-set is non-trivial, especially when only geometric (position) information is known. Existing approaches to the simultaneous pose and correspondence problem use local optimisation, and are therefore unlikely to find the optimal solution without a good pose initialisation, or introduce restrictive assumptions. Since a large proportion of outliers are common for this problem, we instead propose a globally-optimal inlier set cardinality maximisation approach which jointly estimates optimal camera pose and optimal correspondences. Our approach employs branch-and-bound to search the 6D space of camera poses, guaranteeing global optimality without requiring a pose prior. The geometry of SE(3) is used to find novel upper and lower bounds for the number of inliers and local optimisation is integrated to accelerate convergence. The evaluation empirically supports the optimality proof and shows that the method performs much more robustly than existing approaches, including on a large-scale outdoor data-set.

研究动机与目标

• 解决在无初始位姿或对应关系的情况下，同时估计相机位姿和2D-3D特征对应关系的挑战。
• 克服局部优化方法易陷入局部极小值且在初始化不佳时失效的局限性。
• 开发一种全局最优解法，保证收敛至真实最优解，且无需位姿先验。
• 通过最大化内点集合基数而非最小化截断误差函数，提升对异常值的鲁棒性。
• 仅依赖几何信息，实现在大规模、低纹理3D场景中的可靠相机重定位。

提出的方法

• 该方法在SE(3)相机位姿的6维空间上采用分支定界框架，以保证全局最优性。
• 基于SE(3)的几何结构，推导出新颖的内点基数上界与下界，实现对次优区域的有效剪枝。
• 算法采用支持搜索过程中有效分支与边界计算的SE(3)参数化方式。
• 在每一步中集成局部优化，以在不破坏最优性保证的前提下加速收敛。
• 使用紧致的边界函数——具体为基于长方体的边界ψr和ψt以及全局边界Γ——高效缩减搜索空间。
• 方法采用内点阈值θ = 2°，并通过基数最大化天然处理2D和3D异常值。

实验结果

研究问题

• RQ1 能否在不依赖位姿先验的前提下，为同时估计相机位姿与对应关系的问题实现全局最优解？
• RQ2 如何利用SE(3)的几何结构推导出内点基数的紧致边界，以加速分支定界搜索？
• RQ3 与误差最小化方法相比，内点集合基数最大化在鲁棒性与最优性方面是否更具优势？
• RQ4 该方法在具有弱对应关系或模糊对应关系的真实世界大规模户外数据集上的表现如何？
• RQ5 当局部方法因初始化不佳或异常值比例过高而失效时，该方法能否可靠地恢复真实相机位姿？

主要发现

• GOPAC在Data61/2D3D数据集上实现了100%的内点召回率和100%的正确位姿查找成功率，优于RANSAC和局部方法。
• 中位数平移误差为2.30米，旋转误差为2.08°，中位数运行时间为477秒，表明尽管计算成本较高，仍具有高精度。
• 截断版GOPAC（30秒）仅实现45%的成功率，凸显完整全局搜索对最优结果的必要性。
• RANSAC在2000万次和2.8亿次迭代下均未能在任何帧中收敛至正确位姿，旋转误差接近180°。
• SoftPOSIT和BlindPnP即使在提供真实位姿作为先验的情况下也全部失败，原因在于无法处理相机后方的3D点，且不支持全景图像。
• 在所有真实位姿可用的情况下，该方法均成功找到了全局最优解，证明了其对弱对应关系和高异常值比例的鲁棒性。