[论文解读] A Minimal Closed-Form Solution for Multi-Perspective Pose Estimation using Points and Lines

Pedro Miraldo, Tiago Dias+1 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Vision and Imaging被引用 6

一句话总结

本论文提出了首个基于点与线的混合2D-3D对应关系的多视角相机位姿估计的最小闭式解法。提出两种求解器：一种用于两点与一条线（得到四次方程，具有闭式解）；另一种用于一点与两条线（得到八次方程，需迭代求解），在自动驾驶等噪声大、动态变化的环境中实现了高计算效率与鲁棒性。

ABSTRACT

We propose a minimal solution for pose estimation using both points and lines for a multi-perspective camera. In this paper, we treat the multi-perspective camera as a collection of rigidly attached perspective cameras. These type of imaging devices are useful for several computer vision applications that require a large coverage such as surveillance, self-driving cars, and motion-capture studios. While prior methods have considered the cases using solely points or lines, the hybrid case involving both points and lines has not been solved for multi-perspective cameras. We present the solutions for two cases. In the first case, we are given 2D to 3D correspondences for two points and one line. In the later case, we are given 2D to 3D correspondences for one point and two lines. We show that the solution for the case of two points and one line can be formulated as a fourth degree equation. This is interesting because we can get a closed-form solution and thereby achieve high computational efficiency. The later case involving two lines and one point can be mapped to an eighth degree equation. We show simulations and real experiments to demonstrate the advantages and benefits over existing methods.

研究动机与目标

• 解决多视角相机系统中混合点-线位姿估计缺乏最小求解器的问题，此类系统常见于监控、自动驾驶和动作捕捉领域。
• 开发一种利用点与线的最小解法，以提升在仅存在稀疏或混合特征的噪声、异常值多发环境中的鲁棒性。
• 为2点1线情形提供闭式解法，以实现高计算效率，与现有类似问题的迭代方法形成对比。
• 通过3台相机的多视角系统在真实世界路径重建中验证方法的实际应用价值。
• 通过引入混合特征类型，将现有中心相机的最小求解器推广至多视角系统，提升灵活性与鲁棒性。

提出的方法

• 将多视角相机建模为刚性连接的多个透视相机，实现在所有视图上的统一位姿估计。
• 通过2D-3D对应关系的代数运算，将2点1线情形建模为四次多项式方程，通过求根实现闭式解。
• 将1点2线情形映射为八次多项式方程，由于代数复杂度更高，需采用迭代求解器。
• 使用RANSAC并设置30%的内点阈值，利用闭式求解器的高效性，鲁棒地估计位姿。
• 使用MATLAB标定工具箱对单个相机进行标定，并通过CAD模型进行系统级变换，实现多相机数据对齐。
• 分别从VisualSFM和Line3D++中集成点与线的对应关系，实现从真实多相机序列的端到端3D路径重建。

实验结果

研究问题

• RQ1 能否为使用2D-3D点与线对应关系的多视角相机位姿估计，推导出最小闭式解？
• RQ2 在多视角系统中，混合点-线求解器的代数复杂度与纯点或纯线求解器相比如何？
• RQ3 在噪声大、动态变化的条件下，使用混合特征（点与线）在鲁棒性与准确性方面有何性能提升？
• RQ4 所提出的求解器在真实世界多相机路径估计任务中，是否优于仅使用点或仅使用线的现有最小求解器？
• RQ5 2点1线情形的闭式解法在计算效率上是否显著优于迭代方法？其在实际应用中是否保持高精度？

主要发现

• 2点1线情形产生四次多项式方程，可实现闭式解，计算效率高。
• 1点2线情形产生八次多项式方程，需采用迭代方法求解，但仍为该混合配置提供了最小求解器。
• 在3台相机系统的真实实验中，所提方法在旋转与平移误差方面显著优于仅使用点或仅使用线的求解器。
• 该方法在RANSAC阈值从原始值的50%到150%的范围内均表现出鲁棒性能，保持一致的准确度与稳定性。
• 基于606张室外图像、2230个3D点与5814条3D线的路径重建结果表明，所提求解器在重建轨迹的保真度上与现有方法相当或更优。
• 所提求解器推广了最先进的中心相机求解器；当所有相机对齐时，其恢复的解与已知最优的透视相机求解器在混合点与线情形下一致。